今天在查看IIS日志时发现,“WukongSpider”竟然占了很大的量,在其中一天的日志中,WukongSpider竟然达1万多条,一万多PV啊,就这么被这个可恶的悟空搜索给霸占了,并且WukongSpider出现频率过高,已经超过Google / Baidu / Yahoo / Youdao / Soso等正规搜索引擎的抓取条数了。
网上查了一下这个站:
唔箜搜索 唔箜搜索是综合型的手机搜索引擎,提供分类定向搜索,共有手机图片、手机铃声、mp3、手机地图、手机游戏等17个类别的搜索和下载. wukong.net |
从界面上看是个手机浏览网站,Alexa排名在30多万位,但不知道手机终端浏览者是否多,小编提示各位站长朋友,即使是手机访问量很大的站点,到目前为止在收入上也是一片空白,建议大家干掉悟空搜索的蜘蛛,不要再让它到处爬了。
方法一:
将WukongSpider添加到Robots.txt,相信这个家伙也是遵循搜索引擎抓取规则的。
方法二:
将WukongSpider的IP地址加入到黑名单中,禁止该IP来访,可以大大减轻服务器的压力。