heritrix有多个扩展点,这里我扩展FrontierScheduler,它是一个PostProcessor,它的作用是在Extractor 中所分析的链接加到Frontier中。
FrontierScheduler在org.archive.crawler.postprocessor包下面,我写一个类MyFrontierScheduler来继承FrontierScheduler类,,自己写
的MyFrontierScheduler可以重新放在一个新的包里面,也可以放在父类(FrontierScheduler)的包里面,然后重写FrontierScheduler的
schedule()方法。即可简单的实现自己定制的页面抓取逻辑。
protected void schedule(CandidateURI caUri) { getController().getFrontier().schedule(caUri); } 我简单的扩展了schedule(),变为下面这样的: <pre name="code" class="java">protected void schedule(CandidateURI caUri) { String url=caUri.toString(); url = url.toLowerCase(); //設置為只抓取news.baidu.com開頭的uri if(url.startsWith("new.baidu.com")) { getController().getFrontier().schedule(caUri); } } 或者这样的: <pre name="code" class="java">protected void schedule(CandidateURI caUri) { String uri = caUri.toString(); //设置抓取规则:URI中包含qq的抓取 if(!uri.contains("qq")) { System.out.println(uri);//控制台打印输出 getController().getFrontier().schedule(caUri); } }主要就是正则表达式的应用!!!