Scrapy框架-redis分布式(从Scrapy框架创建项目到redis分布式)

•  盗墓笔记案例：

目标网址：http://www.daomubiji.com/

scrapy项目：

        1. 创建项目

        2. 创建爬虫

        3. 定义item

                数据内容：

                        1. 书的名称

                        2. 章节名称

                        3. 文本内容

        4. 编写spider

                1. 定义初始请求

                2. 解析响应内容

        5. 定义管道

        6. 运行项目

开始实现步骤Scrapy框架

 1. 创建项目CMD中可以实现

• 在cmd中创建scrapy项目

#scrapy startproject '项目名称'

scrapy startproject domu

• 进入到domu项目

cd domu

2. 创建爬虫

• 在domu项目中创建爬虫文件