扩展Heritrix的FrontierScheduler(正则表达式的应用)

前端之家收集整理的这篇文章主要介绍了扩展Heritrix的FrontierScheduler(正则表达式的应用)前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

heritrix有多个扩展点,这里我扩展FrontierScheduler,它是一个PostProcessor,它的作用是在Extractor 中所分析的链接加到Frontier中。

FrontierScheduler在org.archive.crawler.postprocessor包下面,我写一个类MyFrontierScheduler来继承FrontierScheduler类,,自己写

的MyFrontierScheduler可以重新放在一个新的包里面,也可以放在父类(FrontierScheduler)的包里面,然后重写FrontierScheduler的

schedule()方法。即可简单的实现自己定制的页面抓取逻辑

父类的schedule()方法原来是是这样的:

protected void schedule(CandidateURI caUri) {
        getController().getFrontier().schedule(caUri);
    }
我简单的扩展了schedule(),变为下面这样的:
<pre name="code" class="java">protected void schedule(CandidateURI caUri)
	{
		String url=caUri.toString();
		url = url.toLowerCase();
		//設置為只抓取news.baidu.com開頭的uri
		if(url.startsWith("new.baidu.com"))
		{
			getController().getFrontier().schedule(caUri);
		}
	}
或者这样的:
<pre name="code" class="java">protected void schedule(CandidateURI caUri)
	{
		String uri = caUri.toString();
		//设置抓取规则:URI中包含qq的抓取
		if(!uri.contains("qq"))
		{
			System.out.println(uri);//控制台打印输出
			getController().getFrontier().schedule(caUri);
		}
	}
主要就是正则表达式的应用!!!

猜你在找的正则表达式相关文章