前端之家收集整理的这篇文章主要介绍了
爬虫基础知识，
前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。
<table class="text"><tbody><tr class="li1">
<td class="ln"><pre class="de1">1
2
3
4
5
6
7
8
9
10
11
12
13
14
页面，并下载相应的html
页面
进行HTML
页面的解析
获取相应的数据和新的url
再访问新的html
获取相应的数据和新的url
2.关键步骤
解析
获取数据和新url
通过url下载html
页面
3.一个爬虫应该具有的部分
url调度器：主要负责检查新
获取的url是否与之前重复
url下载器：难点在于模仿浏览器正确访问网站
url解析器：正则表达式
