python课程回顾复习记录简要1

<think>嗯，用户想复习Python爬虫的静态页面抓取方法，需要提供一个教程。首先，我得回忆一下静态页面抓取的基本步骤和相关库。记得常用的库有urllib和requests，这两个都是Python自带的或者第三方常用的。用户可能已经有一些基础，但需要系统性的复习，所以结构要清晰。 首先，应该分步骤讲解，从发送HTTP请求开始。然后处理请求头，设置超时和重试，处理响应内容，比如状态码和编码，最后解析内容，比如用BeautifulSoup。还要注意代码示例的正确性，确保用户能复制运行。 用户提供的引用里提到了urllib.request和requests库的使用，还有状态码、编码这些关键点。需要把这些内容整合到教程中，同时保持逻辑连贯。可能还需要比较不同库的优缺点，比如urllib是标准库，而requests更简洁。 另外，用户可能对实际操作中的常见问题感兴趣，比如处理异常、设置请求头防止被屏蔽，或者解析HTML时的选择器使用。需要覆盖这些点，但不要过于深入，保持教程的复习性质。 还要注意引用标记，每个引用来源在适当的地方标注。比如，讲解请求过程时引用[^1]，urllib的例子引用[^2]，requests的例子引用[^3]。确保引用自然，不打断内容流畅性。 可能还需要提醒用户注意法律和道德规范，比如遵守robots.txt，不过用户的问题主要是技术方法，这部分可以放在注意事项里简要提及。 最后生成相关问题，帮助用户进一步学习。问题要围绕静态页面抓取的扩展知识，比如动态页面对比、反爬策略、数据处理等。这样用户可以根据问题继续深入学习。 检查一下是否有遗漏的关键点，比如处理GET和POST请求，或者保存抓取的数据。不过静态页面抓取主要是GET，所以可能不需要涉及POST。保存数据可以作为扩展，但用户需求是复习基本方法，所以可能不需要深入。 确保代码示例正确，比如urllib的import和requests的使用，特别是decode和.text的区别。还有状态码检查，200表示成功，这些要提到。 总结下来，结构应该是： 1. 概述静态页面抓取 2. 使用urllib库的步骤和示例 3. 使用requests库的步骤和示例 4. 解析HTML（BeautifulSoup） 5. 注意事项 6. 相关问题 每个部分配合引用和代码示例，确保用户能一步步回顾知识点。需要语言简洁，步骤明确，避免复杂术语，但保持专业性。</think>### Python静态页面抓取方法教程 #### 一、静态页面抓取原理 静态网页内容直接存储在服务器中，通过HTTP请求可直接获取HTML源码。爬虫的核心步骤包括**发送请求**、**获取响应**、**解析内容**三部分。 --- #### 二、使用urllib库实现 Python内置的`urllib`是基础HTTP请求库，适合简单场景： ```python import urllib.request # 发送请求 response = urllib.request.urlopen('http://www.example.com') # [^2] # 读取内容（需指定编码） html = response.read().decode('UTF-8') print(html) ``` **关键参数：** - `timeout=10`：设置超时时间 - `headers={}`：添加请求头模拟浏览器 --- #### 三、使用requests库实现（推荐） 第三方库`requests`提供更简洁的API： ```python import requests # 带请求头的GET请求 headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get('https://blog.example.com', headers=headers) # [^3] # 检查状态码 if response.status_code == 200: print("编码方式:", response.encoding) print("网页内容:", response.text) ``` --- #### 四、HTML解析方法 使用`BeautifulSoup`解析获取的内容： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') title = soup.find('h1').text # 提取标题 links = [a['href'] for a in soup.find_all('a')] # 提取所有链接 ``` --- #### 五、注意事项 1. **请求频率控制**：添加`time.sleep(2)`避免被封禁 2. **异常处理**：使用`try-except`捕获`ConnectionError` 3. **编码检测**：优先使用`response.apparent_encoding`自动检测编码 4. **遵守robots协议**：检查`/robots.txt`文件 ---