WukongSpider 悟空搜索蜘蛛的去留问题

前端之家收集整理的这篇文章主要介绍了WukongSpider 悟空搜索蜘蛛的去留问题前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

  今天在查看IIS日志时发现,“WukongSpider”竟然占了很大的量,在其中一天的日志中,WukongSpider竟然达1万多条,一万多PV啊,就这么被这个可恶的悟空搜索给霸占了,并且WukongSpider出现频率过高,已经超过Google / Baidu / Yahoo / Youdao / Soso等正规搜索引擎的抓取条数了。

  网上查了一下这个站:

唔箜搜索
唔箜搜索是综合型的手机搜索引擎,提供分类定向搜索,共有手机图片、手机铃声、mp3、手机地图、手机游戏等17个类别的搜索和下载.
wukong.net

  从界面上看是个手机浏览网站,Alexa排名在30多万位,但不知道手机终端浏览者是否多,小编提示各位站长朋友,即使是手机访问量很大的站点,到目前为止在收入上也是一片空白,建议大家干掉悟空搜索的蜘蛛,不要再让它到处爬了。

  方法一:

  将WukongSpider添加到Robots.txt,相信这个家伙也是遵循搜索引擎抓取规则的。

  方法二:

  将WukongSpider的IP地址加入到黑名单中,禁止该IP来访,可以大大减轻服务器的压力。

  推荐:以上两个方法都使用,PS:如果你的网站是手机类站点,就不要屏蔽了!

猜你在找的SEO相关文章