python爬虫-京东商品爬取

最新推荐文章于 2024-12-16 15:25:36 发布

我是月亮呀.

最新推荐文章于 2024-12-16 15:25:36 发布

阅读量7.3k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_43209279/article/details/103454210

本文介绍了如何使用Python进行京东商品的爬取，包括两种方法：利用selenium模拟浏览器动态加载和直接爬取，分别详细阐述了各自的实现步骤和优缺点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

京东商品爬取

仅供学习

一.使用selenium

from selenium import webdriver
from selenium.webdriver.common.keys import Keys #键盘按键操作from selenium.webdriver.support import expected_conditions as EC
import time



def get_goods(driver):
    try:
        goods=driver.find_elements_by_class_name('gl-item')


        for good in goods:
            detail_url=good.find_element_by_tag_name('a').get_attribute('href')

            p_name=good.find_element_by_css_selector('.p-name em').text.replace('\n','')
            price=good.find_element_by_css_selector('.p-price i').text
            p_commit=good.find_element_by_css_selector('.p-commit a').text

            msg = '''
            商品 : %s
            链接 : %s
            价钱 ：%s
            评论 ：%s
            ''' % (p_name,detail_url,price,p_commit)

            print(msg,end='\n\n')



        button=driver.find_element_by_partial_link_text('下一页')
        button.click(