使用 Scrapy 爬取知乎用户数据——完整教程

### 使用 Scrapy 实现知乎网页抓取 #### 自定义 Downloader Middleware 处理反爬虫机制 为了成功爬取知乎网站的数据，可以利用 Scrapy 的 `Downloader Middleware` 来模拟浏览器行为并设置必要的请求头。通过这种方式能够有效规避知乎的反爬虫策略。 ```python from scrapy import signals class CustomMiddleware(object): def process_request(self, request, spider): request.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36' request.headers['authorization'] = 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20' ``` 上述代码展示了如何创建一个自定义中间件类，在其中设置了 User-Agent 和 authorization 字段[^3]。 #### 定义 Item 存储结构 在项目目录下的 items.py 文件中需定义存储数据所需的字段。以下是针对知乎问答的具体实现： ```python import scrapy class ZhihuAnswerItem(scrapy.Item): zhihu_id = scrapy.Field() url = scrapy.Field() question = scrapy.Field() author_id = scrapy.Field() content = scrapy.Field() praise_num = scrapy.Field() comments_num = scrapy.Field() create_time = scrapy.Field() update_time = scrapy.Field() crawl_time = scrapy.Field() ``` 这段代码定义了一个用于存储知乎回答详情的对象模型[^2]。 #### JSON 数据解析与翻页逻辑 知乎 API 返回的结果通常是以 JSON 格式的字符串形式存在，因此需要编写相应的解析函数来获取所需的信息，并判断是否有下一页链接继续抓取。 ```python def parse(self, response): json_data = response.json() for data in json_data.get('data'): answer_item = ZhihuAnswerItem( zhihu_id=data.get('id'), url=data.get('url'), question=data.get('question').get('title') if isinstance(data.get('question'), dict) else None, author_id=data.get('author').get('name') if isinstance(data.get('author'), dict) else None, content=data.get('content'), praise_num=data.get('voteup_count'), comments_num=data.get('comment_count') ) yield answer_item next_page_url = json_data.get('paging', {}).get('next') is_end = json_data.get('paging', {}).get('is_end') if not is_end and next_page_url: yield scrapy.Request(url=next_page_url, callback=self.parse) ``` 这里实现了对单条记录的提取以及分页加载的功能[^4]。 #### 数据持久化至 MySQL 最后一步就是把采集下来的内容存入关系型数据库MySQL当中。这可以通过 pipelines 功能模块完成配置工作。 ```python import pymysql.cursors class MysqlPipeline(): def __init__(self): self.connect = pymysql.connect(host='localhost', port=3306, user='root', password='', db='zhihudata', charset='utf8mb4', cursorclass=pymysql.cursors.DictCursor) def close_spider(self, spider): self.connect.close() def process_item(self, item, spider): try: with self.connect.cursor() as cursor: sql = """INSERT INTO answers(zhihu_id,url,question,author_id,content,praise_num,comments_num,crawl_time) VALUES (%s,%s,%s,%s,%s,%s,%s,NOW())""" cursor.execute(sql,(item["zhihu_id"],item["url"],item["question"],item["author_id"],item["content"],item["praise_num"],item["comments_num"])) self.connect.commit() except Exception as e: print(e) return item ``` 以上脚本完成了从连接建立到最终关闭整个过程中的每一条记录入库操作。