在安装scrapy的前提需要安装python,pip,setuptools,OpenSSL,lxml
安装python3.5,pip参考这篇文章
安装lxml:
安装之前记得安装libxslt和libxml
为了确保依赖被安装,执行命令:
sudo yum install gcc libffi-devel python-devel openssl-devel
单独装Twisted:
tar -jxvf Twisted-15.2.1.tar.bz2
cd Twisted-15.2.1python setup.py install
检验:
>>>import Twisted
此时twisted已经安装成功。
在验证import OpenSSL时出现错误:ImportError: No module named 'cryptography'
然后单独安装easy_install cryptography,出现:from pkg_resources import load_entry_point
ImportError: No module named pkg_resources
重装一下setuptools即可解决:wget https://bootstrap.pypa.io/ez_setup.py -O - | python
重新执行easy_install cryptography,安装成功。
验证:
>>>import OpenSSL
重新装scrapy:easy_install scrapy
出现错误:ImportError: Twisted requires Python 2.7 or later.
网上说需要首先安装Twsisted的两个依赖库pyOpenSSL和pycrypto 。
easy_install pyOpenSSL
easy_install pycrypto
执行easy_install scrapy
验证:>>>import scrapy
则安装成功!