我读取文件并从中创建一个Object并存储到
postgresql数据库.我的文件有100,000个文件,我从一个文件中读取并拆分并最终存储到数据库.
我无法创建List<>并将所有文档存储在List<>中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多文档.如何有效地读取文件和存储到数据库.
我无法创建List<>并将所有文档存储在List<>中因为我的RAM很少.我读写数据库的代码如下.但是我的JVM堆填充并且无法继续存储更多文档.如何有效地读取文件和存储到数据库.
public void readFile() {
StringBuilder wholeDocument = new StringBuilder();
try {
bufferedReader = new BufferedReader(new FileReader(files));
String line;
int count = 0;
while ((line = bufferedReader.readLine()) != null) {
if (line.contains("<page>")) {
wholeDocument.append(line);
while ((line = bufferedReader.readLine()) != null) {
wholeDocument = wholeDocument.append("\n" + line);
if (line.contains("</page>")) {
System.out.println(count++);
addBodyToDatabase(wholeDocument.toString());
wholeDocument.setLength(0);
break;
}
}
}
}
wikiParser.commit();
} catch (FileNotFoundException e) {
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
} finally {
try {
bufferedReader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
public void addBodyToDatabase(String wholeContent) {
Page page = new Page(new Timestamp(System.currentTimeMillis()),wholeContent);
database.addPageToDatabase(page);
}
public static int counter = 1;
public void addPageToDatabase(Page page) {
session.save(page);
if (counter % 3000 == 0) {
commit();
}
counter++;
}
解决方法
首先,您应该在这里应用
fork-join方法.
主任务解析文件并将最多100个项目的批次发送到ExecutorService.ExecutorService应该具有许多工作线程,这些线程等于可用数据库连接的数量.如果你有4个cpu内核,那么假设数据库可以采用8个并发连接,而无需进行太多的上下文切换.
然后,您应配置connection pooling DataSource并使minSize等于maxSize且等于8.尝试使用HikariCP或ViburDBCP进行连接池.
然后你需要配置JDBC batching.如果你使用MysqL,IDENTITY生成器将禁用沐浴.如果您使用的是支持序列的数据库,请确保您还使用增强的标识符生成器(它们是Hibernate 5.x中的默认选项).
这样,实体插入过程被并行化并且与主解析线程分离.主线程应该等待ExecutorService在关闭之前完成所有任务的处理.
