背景:我刚刚开始学习scikit,并在页面底部阅读约
joblib,versus pickle.
it may be more interesting to use joblib’s replacement of pickle (joblib.dump & joblib.load),which is more efficient on big data,but can only pickle to the disk and not to a string
我读了这个Q& A的Pickle,
Common use-cases for pickle in Python,想知道这里的社区是否可以分享joblib和pickle之间的差异?何时应该使用另一个?
解决方法
joblib通常在大数字数组上显着更快,因为它对numpy数据结构的数组缓冲区有特殊的处理.要了解实现细节,您可以查看
source code.它也可以在使用zlib酸洗的同时压缩该数据.
joblib还可以在加载时将存储器映射到未压缩的joblib-pickled numpy数组的数据缓冲区,这样可以在进程之间共享内存.