背景
我有一个Spring批处理程序读取文件(我正在使用的示例文件大小为4 GB),对文件进行少量处理,然后将其写入Oracle数据库.
我的程序使用1个线程来读取文件,12个工作线程进行处理和数据库推送.
我正在搅拌很多很多年轻的记忆,这导致我的程序比我想象的慢.
建立
JDK 1.6.18
春季批量2.1.x
4核心机器16 GB RAM
-Xmx12G -Xms12G -NewRatio=1 -XX:+UseParallelGC -XX:+UseParallelOldGC
问题
有了这些JVM参数,我将获得Tenured Generation的大约5.x GB内存以及Young Generation的大约5.X GB的内存.
在处理这个文件的过程中,我的Tenured Generation是好的.它增长到最大可能3 GB,我从来不需要做一个完整的GC.
然而,年轻一代最多也是最多的.它达到5 GB的范围,然后并行次要的GC发生,并将Young Gen下降到使用的500MB.次要的GC比一个完整的GC好,但它仍然减慢了我的程序(我很确定,当一个年轻的Gen集合发生时,应用程序仍然冻结,因为我看到数据库活动死机).我花费了超过5％的程序时间冻结小型GC,这似乎过度.在处理这个4 GB文件的过程中,我会说,我通过50-60GB的年轻基因内存.
我的程序没有任何明显的缺陷.我试图遵守一般的OO原则并编写干净的Java代码.我试图不用任何理由创建对象.我正在使用线程池,并尽可能地传递对象而不是创建新对象.我将开始剖析应用程序,但是我想知道是否有人有一些很好的一般的经验法则或反模式,以避免导致过多的内存流失？是50-60GB的内存流失处理一个4GB的文件最好我可以做吗？我需要恢复JDK 1.2技巧,像对象池吗？ (虽然Brian Goetz给了一个演示文稿,其中包括为什么对象池是愚蠢的,我们不需要这样做,我相信他比我相信自己更多:) :))
