我目前正在构建一个处理大量数据的分析应用程序.典型情况如下：用户选择包含大约600个测量文件的文件夹,每个文件包含大约40.000到100.000个值.应用程序将这些值读入一个内部作为数据高速缓存的对象,这样就不能在每次访问时读取这些文件.
这非常有效,但我注意到内存消耗非常高,最终可能会变得太大.在我的测试期间,当应用程序的内存消耗超过2GB RAM时应用程序崩溃.
保存数据的数据结构尽可能简单,它基本上只包含一些以2级嵌套方式包含数据的字典,没有任何复杂.我想知道是否有一种方便的方法将这个对象以压缩形式存储在RAM中.我知道这会降低性能,但在我的情况下这完全可以接受.
有没有办法做这样的事情让我像往常一样使用我的对象？或者我必须在我的对象中自己实现压缩？
感谢您的想法和建议！
解决方法
这实际上取决于您正在使用的类型.一种可能性是压缩对象,使用
Extension Method将它们保持为压缩字节[]而不是原始对象格式.
您可以将其与使x64位处理工作结合起来：
public static byte[] SerializeAndCompress(this object obj)
{
using (MemoryStream ms = new MemoryStream())
using (GZipStream zs = new GZipStream(ms,CompressionMode.Compress,true))
{
BinaryFormatter bf = new BinaryFormatter();
bf.Serialize(zs,obj);
return ms.ToArray();
}
}
public static T DecompressAndDeserialize<T>(this byte[] data)
{
using (MemoryStream ms = new MemoryStream(data))
using (GZipStream zs = new GZipStream(ms,CompressionMode.Decompress,true))
{
BinaryFormatter bf = new BinaryFormatter();
return (T)bf.Deserialize(zs);
}
}
