Python爬虫——Scrapy 简介和安装

Python爬虫——Scrapy 简介和安装

1、Scrapy 简介

Scrapy 简介

Scrapy 是一个基于 Twisted实现的专业的、高效的异步处理爬虫框架，Scrapy 框架用纯Python实现。

Twisted：一个采用 Python 实现的基于事件驱动的网络引擎框架，用 Twisted 来处理网络通讯可以加快我们的下载速度，不用自己去实现异步框架。

Scrapy 框架用途非常广泛，可以提取网站数据、网络监测以及自动化测试等，Scrapy 也可以根据自己需求所需要的数据进行定制。

Scrapy 框架使用 lxml（专业的 XML 处理包）、cssselect 高效地提取 HTML 页面的有效信息，同时它也提供了有效的线程管理。

Scrapy 框架使用起来也很方便，开发人员只需要定制开发几个模块就可以实现一个爬虫程序，用来抓取网页数据或图片。

Scrapy 架构和组件

​ Scrapy 架构图

Scrapy 组件：

• Engine，引擎，是整个框架的核心，负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等

• Item，项目，它定义了爬取结果的数据结构，爬取的数据会被赋值成该对象。

• Scheduler， 调度器，用来接受引擎发过来的Request请求并按照一定的方式加入队列中，并在引擎再次请求的时候提供给引擎。

• Downloader，下载器，用于下载Engine请求到的网页内容，并将其获取到的Responses交还给Engine(引擎)，由Engine交给Spider来处理。

• Spiders，爬虫，其内定义了爬取的逻辑和网页的提取数据规则，它主要负责处理所有Responses并生成提取结果，并将新的URL提交给引擎，再次进入Scheduler(调度器)。

• Item Pipeline，项目管道，负责处理Spider中获取到的Item，并进行进行清洗、验证和存储数据。

• Downloader Middlewares，下载器中间件，自定义扩展下载功能的组件，位于引擎和下载器之间的钩子框架，主要是处理引擎与下载器之间的请求及响应。

• Spider Middlewares， 蜘蛛中间件，位于引擎和蜘蛛之间的钩子框架，可以自定扩展和操作引擎和Spider中间通信的功能组件。

2、Scrapy 下载安装

Scrapy 下载安装

1、Scrapy 安装位置：Python安装目录的Scripts文件夹下

2、安装命令：pip install Scrapy -i https://pypi.douban.com/simple，由于 Scrapy 需要许多依赖项，因此使用镜像源下载。

下载成功后可以在pycharm中查看scrapy版本信息

下载安装中可能遇到的问题及解决方法

问题1：mportError: No module named w3lib.http

• 解决：pip install w3lib

问题2：ImportError: No module named twisted

• 解决：pip install twisted

问题3：ImportError: No module named lxml.HTML

• 解决：pip install lxml

问题4：error: libxml/xmlversion.h: No such file or directory

• 解决：apt-get install libxml2-dev libxslt-dev

  ​ apt-get install Python-lxml

问题5：ImportError: No module named cssselect

• 解决：pip install cssselect

问题6：ImportError: No module named OpenSSL

• 解决：pip install pyOpenSSL

使用anaconda安装（简单）

注意：anaconda需要安装在空文件夹，使用anaconda下载完依赖后，pycharm中的python解释器的路径要修改为anaconda中python解释器的路径。