淘宝的页面大量使用了js加载数据，所以采用selenium来进行爬取更为简单，selenum作为一个测试工具，主要配合无窗口浏览器phantomjs来使用。
'''
此函数的作用为完成首页点击搜索的功能，替换标签可用于其他网页使用
:return:
'''
print('正在搜索')
try:
访问页面
browser.get('https://www.taobao.com')
选择到淘宝首页的输入框
input = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
)
搜索的那个按钮
submit = wait.until(EC.element_to_be_clickable(
(By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
send_key作为写到input的内容
input.send_keys('面条')
执行点击搜索的操作
submit.click()
查看到当前的页码一共是多少页
total = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
获取所有的商品
get_products()
返回总页数
return total.text
except TimeoutException:
return search()
def next_page(page_number):
'''
翻页函数，
:param page_number:
:return:
'''
print('正在翻页',page_number)
try:
这个是我们@R206404@的输入框
input = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > input')))
跳转时的确定按钮
submit = wait.until(
EC.element_to_be_clickable(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.J_Submit')))
清除里面的数字
input.clear()
重新输入数字
input.send_keys(page_number)
选择并点击
submit.click()
判断当前页是不是我们要现实的页
wait.until(
EC.text_to_be_present_in_element(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)))
调用函数获取商品信息
get_products()
捕捉超时，重新进入翻页的函数
except TimeoutException:
next_page(page_number)
def get_products():
'''
搜到页面信息在此函数在爬取我们需要的信息
:return:
'''
每一个商品标签，这里是加载出来以后才会拿网页源代码
wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))
这里拿到的是整个网页源代码
html = browser.page_source
pq解析网页源代码
doc = pq(html)
items = doc('#mainsrp-itemlist .items .item').items()
for item in items:
print(item)
product = {
'image': item.find('.pic .img').attr('src'),'price': item.find('.price').text(),'deal': item.find('.deal-cnt').text()[:-3],'title': item.find('.title').text(),'shop': item.find('.shop').text(),'location': item.find('.location').text()
}
print(product)
def main():
try:
第一步搜索
total = search()
int类型刚才找到的总页数标签，作为跳出循环的条件
total = int(re.compile('(\d+)').search(total).group(1))
只要后面还有就继续爬，继续翻页
for i in range(2,total + 1):
next_page(i)
except Exception:
print('出错啦')
finally:
关闭浏览器
browser.close()
if name == 'main':
main()
以上这篇使用selenium抓取淘宝的商品信息实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持编程之家。
