defending的博客

中文文档   http://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html 一 介绍     Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化

示例：自动登陆抽屉并点赞 # -*- coding: utf-8 -*- import scrapy from scrapy.selector import HtmlXPathSelector from scrapy.http.request import Request from scrapy.http.cookies import CookieJar from scra

scrapy-redis使用以及剖析 scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器dupefilter - URL去重规则（被调度器使用）pipeline   - 数据持久化 scrapy-redis组件 1. URL去重