requests的代理的设置

最新推荐文章于 2025-06-18 09:32:15 发布

Giyn

最新推荐文章于 2025-06-18 09:32:15 发布

阅读量6.5w

点赞数 6

CC 4.0 BY-SA版权

分类专栏：【Python爬虫知识】文章标签： proxy python 爬虫

本文链接：https://blog.csdn.net/weixin_45961774/article/details/105423244

【Python爬虫知识】专栏收录该内容

19 篇文章

订阅专栏

当爬虫访问次数过多导致IP被封时，可以利用requests库设置代理来规避。requests的代理设置简单，只需构造代理字典并传入proxies参数。如果代理需要认证，可以在代理URL中加入用户名和密码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬虫运行的时候，有时候会出现403 Forbidden的情况，也就是我们的访问次数超过了目标网站设置的阈值，这样它就会直接拒绝服务，返回一些错误信息，也就是所谓的封IP。

接下来我们尝试基于requests的代理的设置：

requests 的代理设置比 urllib 简单很多，它只需要构造代理字典，然后通过 proxies 参数即可，而不需要重新构建 Opener。

代码如下：

import requests
proxy = '113.194.28.190:9999'	

proxies = {
	        'http': 'http://' + proxy,
	        'https': 'https://' + proxy 
		  }
try:
    response = requests.get('http://httpbin.org/get', proxies=proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print('Error', e.args)

Output：

我们可以看到运行结果的 origin 是代理的IP，这证明代理已经设置成功。

如果代理需要认证，在代理的前面加上用户名和密码即可，即代理的写法变成如下所示：

proxy = 'username:password@113.194.28.190:9999'

参考资料：《Python3网络爬虫开发实战》——崔庆才