Python Scrapy爬虫框架安装和创建

1、检查Win环境 python版本

python

 2、whl方式安装 twisted

     twisted异步网络框架，可加快下载速度。优点是用少量的代码实现快速的抓取。

    由于scrapy需要twisted的环境，我们直接去下载whl文件根据自己的Python版本选择

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

 2、将这个文件存放到python安装路径下的script文件夹中。如下：

3、在当前目录下，并执行安装

 pip install Twisted-20.3.0-cp38-cp38-win_amd64.whl

 3 、安装scrapy框架

pip install scrapy

 4、安装pywin32

 pip install pywin32

5、检查是否安装成功

scrapy 

 6、手动创建爬虫项目

scrapy startproject  项目名称

 说明：

(1)需要切换到爬虫项目中：cd 项目名称
(2)需要输入命令去创建一个爬虫任务: 
  scrapy genspider example(爬虫任务名称) example.com(范围域名)