前端之家收集整理的这篇文章主要介绍了
带宽 – 百度蜘蛛每天造成3Gb流量 – 但我在中国做生意，
前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
我遇到了困难,
百度蜘蛛正在攻击我的网站,每天带来3Gb带宽.与此同时,我在中国开展业务,所以不要只是阻止它.
有没有其他人处于类似情况(任何蜘蛛)？你有没有遇到过神奇的解决方案？或者你只是接受它并阻止或不阻止机器人？
只要它遵循robots.txt,您就可以限制请求
User-agent: *
Crawl-delay: 10
原文链接：https://www.f2er.com/html/228770.html
