https://p.3.cn/prices/mgets爬取京东商品信息报错error pdos_captcha

Qyq0498

于 2020-08-03 10:01:14 发布

阅读量2.6k

点赞数 2

CC 4.0 BY-SA版权

分类专栏：小bug 文章标签： java

本文链接：https://blog.csdn.net/Qyq0498/article/details/107757191

在使用Java爬取京东商品信息时遇到pdos_captcha错误，通过添加Headers请求头并改为Get请求解决了问题。原本尝试将area和skuIds作为参数传递，实际应将它们加入URL进行请求。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

遇到这个问题首先是没有添加Headers请求头，我把请求头加上之后，不报错也没有值返回，头疼了一会儿之后发现大概是我用的请求不对，应该使用Get请求。

   public static String httpPost(String url,Map<String, String> headers){
        CloseableHttpClient httpClient = HttpClients.createDefault();
        HttpPost httpPost =   new HttpPost(url);
		if (headers != null) {
			Set<String> keys = headers.keySet();
			for (Iterator<String> i = keys.iterator(); i.hasNext();) {
				String key = (String) i.next();
				httpPost.addHeader(key, headers.get(key));
			}
		}
        
        CloseableHttpResponse response = null;
        String result = null;
        try {
            List<NameValuePair> nameValuePairs = new ArrayList<NameValuePair>();
            httpPost.setEntity(new UrlEncodedFormEntity(nameValuePairs,"UTF-8"));
            httpPost.setHeader("Content-type", "application/x-www-form-urlencoded");
            // 执行请求
            response = httpClient.execute(httpPost);
            HttpEnti