robots.txt解析器java

前端之家收集整理的这篇文章主要介绍了robots.txt解析器java前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
我想知道如何解析 java中的robots.txt.

代码吗?

解决方法

Heritrix是一个用Java编写的开源Web爬虫.通过他们的javadoc,我看到他们有一个实用程序类 Robotstxt用于解析robots.txt文件.

猜你在找的Java相关文章