crawlscrapy简单使用方法

前端之家收集整理的这篇文章主要介绍了crawlscrapy简单使用方法前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

crawlscrapy简单使用方法

1.创建项目:
scrapy startproject 项目名
例如:
scrapy startproject wxapp

windows下,cmd进入项目路径例如
d:\pythonCode\spiderProject>scrapy startproject wxapp
将创建项目名为 wxapp

2.使用命令创建一个爬虫:
scrapy genspider 爬虫名称 需要爬取的网址
scrapy genspider -t crawl wxapp_spider "wxapp-union.com"

注意:爬虫名称不能和项目名相同
进入项目目录
d:\pythonCode\spiderProject>cd wxapp
创建爬虫
d:\pythonCode\spiderProject\wxapp>scrapy genspider -t crawl wxapp_spider "wxapp-union.com"

命令执行后将在d:\pythonCode\spiderProject\wxapp\wxapp\spiders\下,生成wxapp_spider.py


3.修改wxapp_spider.py文件

猜你在找的Python相关文章