访问页面

browser.get('https://www.taobao.com')

选择到淘宝首页的输入框

input = wait.until(
EC.presence_of_element_located((By.CSS_SELECTOR,'#q'))
)

搜索的那个按钮

submit = wait.until(EC.element_to_be_clickable(
(By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))

send_key作为写到input的内容

input.send_keys('面条')

执行点击搜索的操作

submit.click()

查看到当前的页码一共是多少页

total = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))

获取所有的商品

get_products()

返回总页数

return total.text
except TimeoutException:
return search()

def next_page(page_number):
'''
翻页函数，
:param page_number:
:return:
'''
print('正在翻页',page_number)
try:

这个是我们@R39404@的输入框

input = wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > input')))

跳转时的确定按钮

submit = wait.until(
EC.element_to_be_clickable(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.form > span.J_Submit')))

清除里面的数字

input.clear()

重新输入数字

input.send_keys(page_number)

选择并点击

submit.click()

判断当前页是不是我们要现实的页

wait.until(
EC.text_to_be_present_in_element(
(By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)))

调用函数获取商品信息

get_products()

捕捉超时，重新进入翻页的函数

except TimeoutException:
next_page(page_number)

def get_products():
'''
搜到页面信息在此函数在爬取我们需要的信息
:return:
'''

每一个商品标签，这里是加载出来以后才会拿网页源代码

wait.until(EC.presence_of_element_located(
(By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))

这里拿到的是整个网页源代码

html = browser.page_source

pq解析网页源代码

doc = pq(html)
items = doc('#mainsrp-itemlist .items .item').items()
for item in items:

print(item)

product = {
'image': item.find('.pic .img').attr('src'),'price': item.find('.price').text(),'deal': item.find('.deal-cnt').text()[:-3],'title': item.find('.title').text(),'shop': item.find('.shop').text(),'location': item.find('.location').text()
}
print(product)

def main():
try:

第一步搜索

total = search()

int类型刚才找到的总页数标签，作为跳出循环的条件

total = int(re.compile('(\d+)').search(total).group(1))

只要后面还有就继续爬，继续翻页

for i in range(2,total + 1):
next_page(i)
except Exception:
print('出错啦')
finally:

关闭浏览器

browser.close()

if name == 'main':
main()