用scrapy爬取妹子图片防盗链图（超详细）

漫漫逆袭路

于 2020-03-07 22:18:43 发布

阅读量1.7k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python

本文链接：https://blog.csdn.net/weixin_45558236/article/details/104719258

本文详细介绍了如何使用Python的Scrapy框架来爬取网站图片，并着重讲解了如何避免抓取到防盗链图。通过构建Scrapy项目、分析网页结构、设置CSS选择器以及实现管道类，确保正确抓取所需数据。最后，提醒读者要注意配置settings文件，成功运行项目。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言：python爬虫爬取图片可以用BeautifulSoup类加Requests库，也可以用scrapy框架，这里主要介绍scrapy方法
tips:有些网站抓取时有可能会返回盗链图
解决方案：防止抓到盗链图

1构建scrapy项目：
在cmd输入scrapy startproject 项目名
输入 cd +目录

此处省略（可以参考我之前的文档scrapy从入门到放弃）``

2查看网页：找我们需要的数据
输入目标网站
浏览器右键查看源代码：
我们找到了需要的信息

用css选择器

 
# -*- coding: utf-8 -*-
import scrapy
import os
from zhuamm.items import ZhuammItem


class DSpider(scrapy.Spider):
    name = 'd'
    allowed_domains = ['https://www.mzitu.com/']
    start_urls = ['https://www.mzitu.com/page/1/']
    picturelist = []
    page = 1
    item = ZhuammItem()

    def parse(self, response):
        print