day19 学习python爬虫——requests和bs4

day19 学习python爬虫——requests和bs4

一、requests使用详解

import  requests

1.发送请求

requests.get(请求地址) - 直接获取请求地址对应的数据（请求对象没有要求是浏览器的时候）

requests.get(请求地址，headers= 请求头) - 直接获取请求地址对应的数据，并且通过请求头完成浏览器伪装

例如：豆瓣网

headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
}

2.获取请求结果

1)直接打印响应对象，如果状态码不是200，表示请求失败

print(response) 

2）获取状态码

 print(response.status_code)  # response.status_code == 200请求成功，不是则失败

3)设置编码方式（在请求结果中乱码的时候设置，设置成网页源代码中charset的值）

response.encoding='utf-8'

4)获取响应头（可以查看服务器信息和返回的数据相关信息）

print(response.headers)

5)获取请求结果（获取从服务器中返回的数据）

a.方式1. 响应对象.text - 以字符串的方式获取数据（请求对象是网页）

 print(response.text)

b.方式2：响应对象.content - 以二进制的方式获取数据（请求对象是二进制数据，比如：下载图片、音频等）

 print(respo