写一个python 对百度进行爬虫获取炎症性肠炎的信息
时间: 2025-02-16 21:15:42 浏览: 18
Python 爬虫使用 BeautifulSoup 和 requests 库可以帮助我们从网页上抓取信息,例如关于炎症性肠炎的资讯。以下是一个简单的例子,用于抓取百度百科页面上关于“炎症性肠炎”的基本信息:
```python
import requests
from bs4 import BeautifulSoup
# 目标URL
url = "https://baike.baidu.com/item/%E7%8B%B9%E5%B0%8F%E8%A8%8A%E6%9D%BA%E8%82%8C%E7%97%87"
def get_info(url):
# 发送GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
# 解析HTML内容
soup = BeautifulSoup(response.text, 'lxml')
# 查找特定信息区域(这里假设是文章标题和首段)
title = soup.find('h1', {'class': 'lemmaWgt_title'}).text.strip()
intro = soup.find('div', {'class': 'lemmaCon clearfloat'}).find('p').text.strip()
print(f"标题: {title}")
print(f"简介: {intro}\n")
else:
print("请求失败,状态码:", response.status_code)
get_info(url)
```
请注意,实际操作中可能会遇到反爬机制、动态加载内容、JavaScript等复杂情况,上述代码仅适用于静态HTML页面。此外,在抓取网页数据时,应遵守网站的robots.txt规则,并尊重版权。
阅读全文