前端之家收集整理的这篇文章主要介绍了
java-使用Spring Batch从数据库表中部分提取 ,
前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我有一个带有自动递增整数主键的大型数据库表,我每天都在使用Spring Batch创建该表的摘录,以供其他系统使用.
我正在使用保留前一个提取物中放入的最高ID的方法来设置下一个提取的起点(即在sql中,其中ID> last_id_extracted).我目前正在使用JDBC对使用普通旧Java的next_id表进行此操作.
是否有更好的方法来使用Spring Batch处理这种提取边界.大概这是批处理中很常见的场景,Spring Batch可以帮上忙吗?
谢谢
最佳答案
您的
方法仅在狭义上了解您的数据可能发生的情况.它不考虑对现有数据的
删除和
修改.
为了使其更健壮,请添加另一个表以作为提取状态,并将数据表的记录ID作为外键.如果和何时上载记录,则“提取状态”表应具有“上次导出日期”日期戳.然后,您可以实施以下规则:
1)如果Exp Stat中没有相应的行,则导出
2)如果最近一次更新是>最后出口,出口
3)如果它存在于Exp状态表中但不存在于数据表中,则将删除消息发送给使用者.