问题解决：如何获取京东页面请求到的json中的商品数据（爬虫请求json，提取数据）

最新推荐文章于 2023-10-19 14:58:23 发布

_刘文刚

最新推荐文章于 2023-10-19 14:58:23 发布

阅读量3k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：遇到的错误及其解决文章标签： python json 爬虫大数据

本文链接：https://blog.csdn.net/qq_40265974/article/details/105424793

本文介绍如何在京东爬虫中处理反爬措施，解析JSON获取商品价格和评论数据。通过分析请求，找到数据所在的JSON，利用json库加载并提取所需信息。虽然目前代码未优化，存在反爬限制，但后续会更新优化方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

**问题介绍：**京东商品的部分信息是具备一定的反爬措施的，例如价格、评论相关信息的那个。那么我们要如何获得这部分数据呢？

**问题分析：**对于这部分数据，分析相关请求内容或json，能够找到对应的数据是存在json中的，我们只需要获得将json请求出来，再通过一些简单步骤即可获取json数据。当然是需要使用json库的。

解决步骤：

1.找到数据所在json

令书博客，具体可查看：京东反爬措施导致无法爬取商品价格和评论等信息解决方法

2.获取json数据

获取价格数据：

import requests
from lxml import etree
import json
import random

proxy_list = [
     {"http" or "https": "112.115.57.20:3128"},
     {"http" or "https": '121.41.171.223:3128'},
]

user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/201001