文章目录
1、学习目标
- 学习在scrapy项目中进行数据建模
- 学习如何构造request对象,并发送请求
- 学习利用meta参数在不同解析函数中传递数据
- 学习scrapy中间件的使用,构造随机User-Agent和随机代理IP
- 学习scrapy管道的使用,构造新的管道类
2、实战演练(抓取豆瓣新书速递网站数据)
- 目标网站:豆瓣新书速递(https://book.douban.com/latest?icn=index-latestbook-all)
- 任务:抓取该网站标题页信息,以及详情页信息
标题页抓取内容:
详情页抓取内容: