解决Requests中文乱码问题

最新推荐文章于 2025-06-17 12:06:29 发布

我不是idol

最新推荐文章于 2025-06-17 12:06:29 发布

阅读量1.4k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python 爬虫

原文链接：https://blog.csdn.net/chaowanghn/article/details/54889835

python 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了在使用requests模块爬取网页数据时遇到的乱码问题，提供了两种解决方法：一是将bytes型数据转化为str，二是通过设置和修改r.encoding属性。重点讲解了如何确保正确处理UTF-8编码以获取清晰文本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

来自：https://blog.csdn.net/chaowanghn/article/details/54889835

分析：

在使用requests模块爬取数据时，爬取的网页经常容易出现乱码问题，如下：
在这里插入图片描述
对于：
res = requests.get(url)

res.text 返回的是Unicode型的数据,一般用于读取文本。
res.content 返回的是bytes型的数据，一般用于读取文件、图片。

解决办法

1. 使用 res.content 转化为byte型，再转化为str型

# 方式1
res = requests.get(url=url, headers=headers).content
page_data = str(res, 'utf-8')
# 方式2
page_data = requests.get(url=url, headers=headers).content.decode('utf-8')

2. 使用 res.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。请求发出后，Requests 会基于 HTTP 头部对响应的编码作出有根据的推测。当你访问 r.text 之时，Requests 会使用其推测的文本编码。你可以找出 Requests 使用了什么编码，并且能够使用r.encoding属性来改变它.
当Requests库的自身编码为: r.encoding = ‘ISO-8859-1’
可以 r.encoding 修改编码：

res = requests.get(url=url, headers=headers)
res.encoding = 'utf-8'
page_text = res.text
print(page_text)