Python爬虫框架Scrapy应用实战解析

内容导读

1. Scrapy框架简介
2. 通过Scrapy爬取文本信息
3. 定制下载器中间件

一、Scrapy框架简介

Scrapy是一个为了爬取网站数据，提取结构化数据而编写的应用程序框架，可以应用在包括数据挖掘、信息处理或存储历史数据等一系列功能的程序中。

该框架也可以应用在获取API（如Amazon Associates Web Services的API）所返回的数据或通用的网络爬虫中。

在使用Scrapy框架之前，需要先了解该框架的构成、常用命令。

使用Scrapy爬取某企业官网新闻动态。

1、了解Scrapy爬虫框架

Scrapy是一个爬虫框架而非功能函数库，简单地说，它是一个半品，可以帮助用户简单快速地部署一个专业的网络爬虫。

Scrapy爬虫框架主要由引擎（Engine）、调度器（Scheduler）、下载器（Downloader）、Spiders、Item Pipelines、下载器中间件（Downloader Middlewares）、Spider中间件（Spider Middlewares）这7个组件构成。

引擎：负责控制数据流在系统所有组件中的流向，并能在不同的条件下触发相对应的事件。引擎组件相当于爬虫的“大脑”，是整个爬虫的调度中心。

调度器：从引擎接收请求并将该请求加入队列，以便之后引擎需要时将它们提供给引擎。初始爬取的URL和后续在网页中获取的待爬取URL都将被放入调度器中，等待爬取，同时调度器会自动去除重复的URL。如果特定的URL不需要去重，那么可以通过设置实现，如POST请求的URL。

下载器：主要功能是获取网页内容，并将其提供给引擎和Spiders。

Spiders：是Scrapy用户编写的用于分析响应，并提取Items或额外跟进的URL的一个类。每个Spider负责处理一个（或一些）特定网站。

Item Pipelines：主要功能是处理被Spiders提取出来的Items。典型的处理有清理、验证及持久化（如将Items存取到数据库中）。当网页中被爬虫解析的数据存入Items后，将被发送到Item Pipelines，经过几个特定的数据处理次序后，存入本地文件或数据库。

下载器中间件：是一组在引擎及下载器之间的特定钩子（Specific Hook），主要功能是处理下载器传递给引擎的响应（Response）。下载器中间件提供了一个简便的机制，可通过插入自定义代码来扩展Scrapy的功能。通过设置下载器中间件可以实现爬虫自动更换User-Agent、IP地址等功能。

Spider中间件：是一组在引擎及Spiders之间的特定钩子，主要功能是处理Spiders的输入（响应）和输出（Items及请求）。同时，Spider中间件提供了一个简便的机制，可通过插入自定义代码来扩展Scrapy的功能。

2、Scrapy框架中各组件之间的数据流向

数据流在Scrapy中由执行引擎控制，其基本步骤如下：

引擎打开一个网站，找到处理该网站的Spiders，并向该Spiders请求第一个要爬取的URL。

引擎将爬取请求（Requests）转发给调度器，调度器指挥进行下一步。

引擎从调度器获取下一个要爬取的请求。

调度器返回下一个要爬取的请求，通过下载器中间件（请求方向）将请求转发给下载器。

当网页下载完毕时，下载器会生成一个该网页的响应，并将其通过下载器中间件（响应方向）发送给引擎。

引擎从下载器中接收到响应并通过Spider中间件（输入方向）发送给Spiders处理。

Spiders处理响应并返回爬取到的Items及（跟进）新的请求给引擎。

引擎将爬取到的Items（Spiders返回的）给Item Pipelines，将请求（Spiders返回的）给调度器。

重复步骤（2）直至调度器中没有更多的URL请求，引擎关闭该网站。

3、熟悉Scrapy常用命令

Scrapy通过命令行进行控制，Scrapy提供了多种命令，用于多种目的，并且每个命令都接收一组不同的参数和选项。

除了全局命令外，Scrapy还提供了专用于项目的项目命令。

在使用Scrapy爬虫框架的过程中，常用的命令主要是全局命令中的startproject、genspider、runspider，以及项目命令中的crawl、list。