我有一个非常大的列分隔文件来自数据库报告,如下所示：
field1,field2,field3,metricA,value1 field1,metricB,value2
我希望新文件具有这样的组合线,所以它看起来像这样：
field1,value1,value2
我可以使用哈希来做到这一点.在此示例中,前三个字段是键,我将value1和value按特定顺序组合为值.在我读完文件后,我只是将哈希表的键和值打印到另一个文件中.工作良好.
但是,由于我的文件非常大,我有一些担忧.每个文件大约8 GB.
会有更有效的方法吗？我不是在考虑速度,而是在内存占用方面.我担心这个过程会因内存问题而死亡.我只是在一个可行的解决方案上留下空白,但不会把所有东西都推到最后,最终是一个非常大的哈希.
为了完全公开,我在Windows上使用ActiveState Perl.
解决方法
如果您的行按键排序,或者由于某些其他原因,field1,field3的相等值相邻,则状态机将更快.只需读取这些行,如果字段与前一行相同,则发出两个值.
否则,至少,您可以利用这样一个事实：您有两个值,并在找到第二个值时从哈希中删除密钥 – 这应该会大大限制您的内存使用量.