Your server appears to allow access from User-agent Libwww-perl. Botnet scripts that automatically look for vulnerabilities in your software are sometimes identified as User-Agent libwww-perl. By blocking access from libwww-perl you can eliminate many simpler attacks. Read more on blocking Libwww-perl access and improving your website’s security.
我的网站是一个ASP.NET MVC 5网站,我只是添加这些行到我的“robots.txt”文件.
User-agent: * Disallow: / User-Agent: bingbot Allow: /
但是,该工具仍然报告警告.问题是什么？我阻止所有机器人,只是设置bingbot允许.
解决方法
其背景是,robots.txt包含良好行为的搜索引擎的规则,而不是恶意软件.从http://www.robotstxt.org/robotstxt.html：
>机器人可以忽略您的/robots.txt.特别是恶意软件机器人
扫描网页以获取安全漏洞和电子邮件地址
垃圾邮件发送者使用的收割机不会关注.
我假设“修复”此警告,如果HTTP头包含User-Agent：libwww-perl,则必须拒绝任何页面,图像或文件的所有请求.请参阅this question on configuring IIS以拒绝这些请求而不修改您的网站.
就个人而言,我不会否认这些要求,因为这不值得麻烦.在扫描工具中更改用户代理是很容易的,大多数已经允许模仿广泛使用的浏览器,因此安全增益将非常小.另一方面,可能存在一个不能使用的好的/合法的工具,因为它不会伪造其身份.
