java – 如何以并行方式运行apache nutch不同的工作

前端之家收集整理的这篇文章主要介绍了java – 如何以并行方式运行apache nutch不同的工作前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我使用的是母鸡2.3.所有作业运行一个又一个,即第一个生成器,提取,解析,索引等.我想同时运行一些作业.我知道一些作业不能并行运行,但其他作业可以解析作业,dbupdate,indexjob应该用fetch运行.

可能吗 ?我的基本目标是一直运行抓取工作.我想我们可以用不同的时间戳来做.
任何人都可以指导我正确的方法吗?

解决方法

如果您查看了Nutch Web应用服务器,您将发现它可以并行执行多个爬网作业.您应该查看Nutch 2.3的源代码,用于webapp [NutchUiServer].希望这可以帮助.

猜你在找的Java相关文章