感兴趣python解决网站爬虫限制的简单示例的小伙伴，下面一起跟随编程之家 jb51.cc的小编来看看吧。<br>
有些网站限制了网络请求的来源，来阻止爬虫。一般是通过’user-agent’属性来区分。 
通过 
print r.request.headers 
来查看user-agent属性。 
requests库写的代码默认user-agent是’python-requests/x.xx.x’(x表示版本号)。如果访问不成功，可尝试修改’user-agent’属性。

方法如下： 
1. 先构建一个字典 
ua={"user-agent":"Mozilla/5.0"} 
其中”Mozilla/5.0”是浏览器的普遍标识。 

2. 在get方法里面加一个参数 
r=requests.get(url,headers=ua) 
这时就可以模仿浏览器访问了。 
完整代码：

import requests
url="http://www.177347.com"
ua={"user-agent":"Mozilla/5.0"}
r=requests.get(url)
print r.request.headers
r=requests.get(url,headers=ua)
print r.request.headers