爬虫没有数据结果

最新推荐文章于 2024-05-28 22:57:54 发布

箱子ii

最新推荐文章于 2024-05-28 22:57:54 发布

阅读量2.6k

点赞数 1

CC 4.0 BY-SA版权

文章标签： python

本文链接：https://blog.csdn.net/m0_37607879/article/details/104802540

初学者在使用Scrapy框架爬取丁香园网站关于肺癌疾病的数据时，遇到返回结果为空的问题。代码已附上，尽管按照教程编写，但网上搜索的方法未能解决问题。寻求编程高手协助。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬虫没有数据结果

小白学python爬虫，使用scrapy框架进行爬取网站数据，遇到爬取数据的时候没有返回的结果，代码是根据视频里的老师敲的，看着挺简单的一个程序，网上看了很多方法都没解决，求大神帮助。

这是代码

#-- coding: utf-8 --
import scrapy
from scrapy.http.response.html import HtmlResponse
from scrapy.selector.unified import SelectorList

class SpiderDxysSpider(scrapy.Spider):
name = ‘spider_dxys’
allowed_domains = [‘dxy.com/search/health’]
start_urls = [f’https://dxy.com/view/i/recommend/referral/list?{page_index}&items_per_page=5&q=%E6%8A%91%E9%83%81%E7%97%87&spell_check=false&postcode=000001/’ for page_index in range(1,6)]

def parse(self, response):
    # selectorList
    hospitaldivs=response.xpath("//div[@id='comment-item']/div")
    # hospitaldivs = response.xpath('.//div')
    #     Selector
    for hospitaldiv in hospitaldivs:
        hospital = hospitaldiv.xpath(".//p/text()").getall()
        print(hospital)