可以请求python库在存储该页面的内容之前强制页面加载所有javascript动态内容

Python 前端之家
前端之家收集整理的这篇文章主要介绍了可以请求python库在存储该页面的内容之前强制页面加载所有javascript动态内容，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
Beautifulsoup通常可用于(1)将页面内容存储在变量中
(2)解析网页中的元素.

但是它上面的Beautifulsoup本身无法打开 – 密码保护的HTTP错误403页.所以我使用了这个任务的请求.

现在我想知道Requests库是否能够强制加载页面上的javascript？

我正在使用python2.7

请求是否具有request.open(some url).forceJavascriptLoad的能力

解决方法

不可以.请求无法以任何方式执行javascript.你需要一个所谓的“无头”网络浏览器来做你想要的. Here是其中一些的列表.作为建议,我建议你试试 PhantomJS,虽然它不是用Python编写的,但它有几个优点：

>易于设置和使用
>积极开发并且不像许多其他无头浏览器那样放弃
>有非常好的JavaScript支持
>很快
>提供预编译的二进制文件,以防您在编译内容时遇到问题

我自己尝试了很多无头浏览器,我对PhantomJS感到满意.如果您仍想尝试基于Python的无头浏览器,可以试试Ghost.

原文链接：https://www.f2er.com/python/446493.html

猜你在找的Python相关文章

爬虫实战：探索XPath爬虫技巧之热榜新闻
在这篇文章中，我们深入学习了XPath作为一种常见的网络爬虫技巧。XPath是一种用于定位和选...
谁说后端不能画出美丽的动图？让我来给大家拜个年！
祝福大家龙年快乐！愿你们的生活像龙一样充满力量和勇气，愿你们在新的一年里，追逐梦想，...
爬虫实战：从网页到本地，如何轻松实现小说离线阅读
今天在爬虫实战中，除了正常爬取网页数据外，我们还添加了一个下载功能，主要任务是爬取小...
爬虫实战+数据分析：全国消费支出分析及未来预测
完美收官，本文是爬虫实战的最后一章了，所以尽管本文着重呈现爬虫实战，但其中有一大部分...
Java开发者的Python进修指南：JSON利器之官方json库、demjson和orjson的实用指南
JSON是一种流行的数据传输格式，Python中有多种处理JSON的方式。官方的json库是最常用的，...
使用Python的turtle模块绘制美丽的樱花树
通过本文的学习和实践，我们掌握了使用Python的turtle模块来创作樱花树图画的技巧，这个过...
利用大型语言模型轻松打造浪漫时刻
在这篇文章中，我们介绍了如何利用大型语言模型为情人节营造难忘的氛围。通过上传图片并进...
成为一个合格程序员所必备的三种常见LeetCode排序算法
排序算法是一种通过特定的算法因式将一组或多组数据按照既定模式进行重新排序的方法。通过...
5分钟上手Python爬虫：从干饭开始，轻松掌握技巧
本文的重点在于引导读者如何初步掌握爬虫技术。初步掌握爬虫技术并不难，但是在实际操作中...
AI实用指南：5分钟搭建你自己的LLM聊天应用
本文介绍了如何快速搭建一个基于大型语言模型（LLM）的混元聊天应用。强调了开发速度的重要...
PHPJavaJava SEPythonC#C&C++RubyVBasp.NetGoPerlnettyDjangoDelphiJsp.NET CoreSpringFlaskSpringbootSpringMVCLuaLaravelMybatisAspGroovyThinkPHPYiiswoole
文件时间pythonm相等性PHP Warning时间问题问题解决pcntl_signal采样点wav模块动态文本调用频率限制对外暴露多个访问请求更新数据表模型结构type()方法比较速度手写体sobel算子保存模型Image类nn.Conv2dpytorch1.0kaggleDCGAN交并比range()用法打印模型反卷积卷积