（二）Scrapy全栈数据爬取

最新推荐文章于 2025-06-11 11:01:12 发布

原创最新推荐文章于 2025-06-11 11:01:12 发布 · 139 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

该博客介绍了如何使用Scrapy Python库创建一个爬虫项目，抓取麦当劳官网的新闻发布数据。首先定义了爬虫类McdonaldsSpider，设置爬虫名称、允许的域名和起始URL。接着在`parse`方法中，利用XPath解析网页内容，提取新闻标题和发布时间，并封装到自定义的McdonaldsItem中。最后，通过循环请求更多页面，实现全栈数据爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Scrapy全栈数据爬取

import scrapy
from Mcdonalds.items import McdonaldsItem


class McdonaldsSpider(scrapy.Spider):
    name = 'mcdonalds'  # 爬虫名称 爬虫原文件的唯一标识
    allowed_domains = ['www.mcdonalds.com.cn']  # 爬虫域范围
    start_urls = ['https://www.mcdonalds.com.cn/index/McD/media-center/press-release']  # 起始url列表（列表内url会被scrapy自动尽心请求发送）
    base_url = 'https://www.mcdonalds.com.cn/news/corporate?page='
    page_num = 2

    def parse(self, response):

        news_list = response.xpath('''//div[@class='news-center-list']/ul/li''')
        for li in news_list:
            # extract() 提取Selector对象data参数存放的字符串
            # 列表调用extract()则返回每个Selector对象data参数存放的字符串
            # 若 xpath 返回列表内只有一个元素，则可使用 extract_first() 返回第一个Selector对象data参数存放的字符串
            title = li.xpath('''./h4/a/text()''')[0].extract()
            time = li.xpath('''./time/text()''').extract_first()
            # 封装数据给 item
            item = McdonaldsItem()
            item['title'] = title
            item['time'] = time

            # 将item提交给管道
            yield item

        if self.page_num <= 40:
            new_url = self.base_url + str(self.page_num)
            self.page_num += 1
            yield scrapy.Request(new_url, callback=self.parse, )