我正在寻找Perl(CPAN是好的)的统计数据包,允许我增量地添加数据,而不必传递整个数据数组.
只有平均值,中位数,stddev,max和min是必要的,没有什么太复杂.
原因是因为我的数据集完全太大,无法适应内存.数据源在MySQL数据库中,所以现在我只是查询数据的一部分并计算它们的统计数据,然后再结合所有可管理的子集.
如果您有其他想法如何克服这个问题,我将非常有责任！
解决方法
Statistics::Descriptive::Discrete允许您以类似于Statistics :: Descriptive的方式执行此操作,但已针对大型数据集进行了优化. (例如,文档报告内存使用量提高了两个数量级(100x)).