python-使用beautifulsoup4进行抓取时数据丢失

前端之家收集整理的这篇文章主要介绍了python-使用beautifulsoup4进行抓取时数据丢失 前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

实际上,我是使用Python Beautifulsoup4进行解析的新手.我正在抓取this website.我需要在首页显示“当前每百万价格”.@H_301_2@

我已经花了3个小时了.在互联网上寻找解决方案时.我知道有一个PyQT4库,它可以像Web浏览器一样模拟并加载内容,然后在完成加载后就可以提取所需的数据.但是我坠毁了.@H_301_2@

使用此方法以原始文本格式收集数据.我也尝试了其他方法.@H_301_2@

@H_301_2@

def parseMe(url):
    soup = getContent(url)
    source_code = requests.get(url)
    plaint_text = source_code.text
    soup = BeautifulSoup(plaint_text,'html.parser')
    osrs_text = soup.find('div',class_='col-md-12 text-center')
    print(osrs_text.encode('utf-8'))

Please have a look on this image.我认为问题在于:: before和:: after标记.页面加载后它们就会出现.我们将不胜感激任何帮助.

最佳答案
该网页使XHR可以获取其中包含价格的JSON文件@H_301_2@

@H_301_2@

import requests

r = requests.get('https://api.boglagold.com/api/product/?id=osrs-gold&couponCode=null')
j = r.json()
# print(j)
print('sellPrice',j['sellPrice'])
print('buyPrice',j['buyPrice'])

输出:@H_301_2@

@H_301_2@

sellPrice 0.8
buyPrice 0.62

猜你在找的Python相关文章