开发一个爬虫，首先你要知道你的这个爬虫是要用来做什么的。我是要用来去不同网站找特定关键字的文章，并获取它的链接，以便我快速阅读。
按照个人习惯，我首先要写一个界面，理清下思路。
1、去不同网站。那么我们需要一个url输入框。
<div class="panel-body">
<div class="form-group">
<label for="article_title">文章标题
<input type="text" class="form-control" id="article_title" placeholder="文章标题">
<button type="submit" class="btn btn-default">抓取
<div class="panel-body">
那么接下来就是功能的实现了，我用PHP来写，首先第一步就是获取网站的HTML代码，获取HTML代码的方式也有很多，我就不一一介绍了，这里用了curl来获取，传入网站url就能得到HTML代码啦：
$ch = curl_init();
$timeout = 10;
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_ENCODING,'gzip');
curl_setopt($ch,CURLOPT_USERAGENT,'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/34.0.1847.131 Safari/537.36');
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);
$html = curl_exec($ch);
return $html;
}
虽然得到了HTML代码，但是很快你会遇到一个问题，那就是编码问题，这可能让你下一步的匹配无功而返，我们这里统一把得到的html内容转为utf8编码：
if ($coding != "UTF-8" || !mb_check_encoding($html,"UTF-8"))
$html = mb_convert_encoding($html,'utf-8','GBK,UTF-8,ASCII');
得到网站的html，要获取文章的url，那么下一步就是要匹配该网页下的所有a标签，需要用到正则表达式，经过多次测试，最终得到一个比较靠谱的正则表达式，不管a标签下结构多复杂，只要是a标签的都不放过：(最关键的一步)
preg_match_all($pattern,$html,$matches);
匹配的结果在$matches中，它大概是这样的一个多维素组：
只要能得到这个数据，其他就完全可以操作啦，你可以遍历这个素组，找到你想要a标签，然后获取a标签相应的属性，想怎么操作就怎么操作啦，下面推荐一个类，让你更方便操作a标签：
$url = new DOMXPath($dom);
$hrefs = $url->evaluate('//a');
for ($i = 0; $i < $hrefs->length; $i++) {
$href = $hrefs->item($i);
$url = $href->getAttribute('href'); //这里获取a标签的href属性
}
当然，这只是一种方式，你也可以通过正则表达式匹配你想要的信息，把数据玩出新花样。
得到并匹配得出你想要的结果，下一步当然就是传回前端将他们显示出来啦，把接口写好，然后前端用js获取数据，用jquery动态添加内容显示出来：
上最终效果图：
内容，希望对大家的学习有所帮助。
