频道导航

带宽 – 百度蜘蛛每天造成3Gb流量 – 但我在中国做生意

2020-01-19 HTML 前端之家

前端之家收集整理的这篇文章主要介绍了带宽 – 百度蜘蛛每天造成3Gb流量 – 但我在中国做生意，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

我遇到了困难,百度蜘蛛正在攻击我的网站,每天带来3Gb带宽.与此同时,我在中国开展业务,所以不要只是阻止它.

有没有其他人处于类似情况(任何蜘蛛)？你有没有遇到过神奇的解决方案？或者你只是接受它并阻止或不阻止机器人？

解决方法

只要它遵循robots.txt,您就可以限制请求

User-agent: *
Crawl-delay: 10

上一篇：web-server – 使用子域代理对不同下一篇：active-directory – 强制拆分2003

猜你在找的HTML相关文章

elasticsearch扩展ik分词器词库

操作步骤 1、进入elasticsearch的plugin，进入ik。进入config。 2、在config下面建立以.di...

作者：前端之家时间：2021-02-13

echarts中legend如何换行

lengend data数据中若存在''，则表示换行，用''切割。

作者：前端之家时间：2021-02-13

Echart常用效果（一）

代码实现 option = { backgroundColor: &#39;#080b30&#39;, tooltip: { t...

作者：前端之家时间：2021-02-13

freemarker中js里面取字符串，换行导致报错的解决办法

问题原因原因在于直接在js中取的变量并复制给var变量。于是就变成这样。解决办法 var d...

作者：前端之家时间：2021-02-13

Freemarker + xml 实现Java导出word

前言最近做了一个调查问卷导出的功能，需求是将维护的题目，答案，导出成word，参考了几种...

作者：前端之家时间：2021-02-13

【前端JSP思考】JSP中#{},${}和%{}的区别

JSP中#{},${}和%{}的区别： # #{}：对语句进行预编译，此语句解析的是占位符?，可以防止SQ...

作者：前端之家时间：2021-02-10

【前端HTML】常用标签及属性

对于很多人来说，用HTML标签都是熟能生巧，而不清楚为什么是那样的标签，所以我在这列了一...

作者：前端之家时间：2021-02-10

[前端]GOFLY项目-响应式登录页的设计和实现

登录界面如果要实现响应式 , 需要注意宽度的设置和media query的使用宽度一般都是按百分比...

作者：前端之家时间：2021-02-05

[前端] 设定为disabled的表单域值不能被提交

表单中的某个表单域被设定为disabled，则该表单域的值就不会被提交。但是我们需要提交这个...

作者：前端之家时间：2021-02-05

[前端] 代码中执行绑定元素的指定事件trigger方法

前面业务里有个搜索功能 , 入口比较深 , 现在想要把入口挪到有公共header的地方 , 在不想完...

作者：前端之家时间：2021-02-05

最新文章