python爬虫实例requests+beautifulsoup4解析HTML页面一个简单的网页上抓取标题和链接_Requests+BeautifulSoup解析网页资源-CSDN下载

需积分: 5 161 浏览量 2024-09-07 15:38:36 上传评论收藏 20KB DOCX 举报

资源推荐

资源详情

资源评论

Python 爬虫是一种自动化程序，用于从网站上抓取数据。这里我将提供一个简单的

Python 爬虫实例，使用 requests 库来发送 HTTP 请求，以及 BeautifulSoup 库来解析

HTML 页面。这个实例将从一个简单的网页上抓取标题和链接。

首先，你需要安装必要的库。如果你还没有安装 requests 和 beautifulsoup4，可以通

过 pip 安装它们：

bash 复制代码

pip install requests beautifulsoup4

接下来是 Python 爬虫的代码示例：

python 复制代码

import requests

from bs4 import BeautifulSoup

def fetch_url(url):

"""

发送 HTTP GET 请求并返回响应内容

"""

try:

response = requests.get(url)

response.raise_for_status() # 如果响应状态码不是 200，则抛出

HTTPError 异常

return response.text

except requests.RequestException as e:

print(e)

return None

def parse_html(html):

"""

解析 HTML 内容，提取标题和链接

"""

soup = BeautifulSoup(html, 'html.parser')

# 假设我们要从 <h2> 标签中提取标题，从 <a> 标签中提取链接

titles = [title.get_text(strip=True) for title in

soup.find_all('h2')]

links = [link.get('href') for link in soup.find_all('a',

href=True)]

return titles, links

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

内容反馈

cesske

粉丝: 1278

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip