频道导航

在不下载网页的情况下使用Python检查链接是否已死

2019-10-09 HTML 前端之家

前端之家收集整理的这篇文章主要介绍了在不下载网页的情况下使用Python检查链接是否已死，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

对于那些知道wget的人来说,它有一个选项–spider,允许人们检查链接是否坏了,而不实际下载网页.我想在 Python中做同样的事情.我的问题是我有一个我要检查的100’000个链接列表,每天最多一次,每周至少一次.无论如何,这将产生大量不必要的流量.

据我所知,从urllib2.urlopen() documentation开始,它不下载页面而只下载元信息.它是否正确？或者是否有其他方式以一种很好的方式做到这一点？

最好,
特勒尔斯

解决方法

您应该使用 HEAD Request,它会向Web服务器询问没有正文的标题.见 How do you send a HEAD HTTP request in Python 2?

上一篇：表单 – 如何在VB6中最好地共享可嵌下一篇：对ggplot geom_text使用wordlayout

猜你在找的HTML相关文章

elasticsearch扩展ik分词器词库

操作步骤 1、进入elasticsearch的plugin，进入ik。进入config。 2、在config下面建立以.di...

作者：前端之家时间：2021-02-13

echarts中legend如何换行

lengend data数据中若存在''，则表示换行，用''切割。

作者：前端之家时间：2021-02-13

Echart常用效果（一）

代码实现 option = { backgroundColor: &#39;#080b30&#39;, tooltip: { t...

作者：前端之家时间：2021-02-13

freemarker中js里面取字符串，换行导致报错的解决办法

问题原因原因在于直接在js中取的变量并复制给var变量。于是就变成这样。解决办法 var d...

作者：前端之家时间：2021-02-13

Freemarker + xml 实现Java导出word

前言最近做了一个调查问卷导出的功能，需求是将维护的题目，答案，导出成word，参考了几种...

作者：前端之家时间：2021-02-13

【前端JSP思考】JSP中#{},${}和%{}的区别

JSP中#{},${}和%{}的区别： # #{}：对语句进行预编译，此语句解析的是占位符?，可以防止SQ...

作者：前端之家时间：2021-02-10

【前端HTML】常用标签及属性

对于很多人来说，用HTML标签都是熟能生巧，而不清楚为什么是那样的标签，所以我在这列了一...

作者：前端之家时间：2021-02-10

[前端]GOFLY项目-响应式登录页的设计和实现

登录界面如果要实现响应式 , 需要注意宽度的设置和media query的使用宽度一般都是按百分比...

作者：前端之家时间：2021-02-05

[前端] 设定为disabled的表单域值不能被提交

表单中的某个表单域被设定为disabled，则该表单域的值就不会被提交。但是我们需要提交这个...

作者：前端之家时间：2021-02-05

[前端] 代码中执行绑定元素的指定事件trigger方法

前面业务里有个搜索功能 , 入口比较深 , 现在想要把入口挪到有公共header的地方 , 在不想完...

作者：前端之家时间：2021-02-05

最新文章