第一课：静态网页爬取

今天第一课学习的内容是爬虫应用的开发，简单了解了网络爬虫的概念，分类等，还有网页的相关概念（HTTP）。

今天所学习的主要内容是静态网页爬取，直接展示代码

 这段代码的主要功能是：
1. 定义一个可以获取网页HTML文本的函数
2. 处理基本的请求异常
3. 自动检测和设置正确的编码
4. 提供一个直接运行时的测试示例

1. 导入模块
 import requests
 导入Python的requests库，这是一个用于发送HTTP请求的流行第三方库

2. 函数定义
def getHTMLText(url): ! usage
定义了一个名为getHTMLText的函数，接收一个URL参数

3. try-except块
  try:
   except:
       return"产生异常"
尝试执行请求操作，如果出现任何异常，返回"产生异常"字符串

4. 发送请求
r = requests.get(url,timeout=50)

使用requests.get()方法发送GET请求到指定的URL
设置超时时间为50秒

5. 状态码检查

r.raise_for_status()

如果响应状态码表示错误，会抛出HTTPError异常

6. 编码处理

r.encoding = r.apparent_encoding
使用apparent_encoding自动检测响应内容的编码将响应编码设置为检测到的编码，确保`.text`能正确解码内容

7. 返回内容

return r.text
返回解码后的网页文本内容

8. 主程序
if __name__ == "__main__":

url = "http://val.gq.com"

print(getHTMLText(url))
当脚本直接运行时（而非被导入为模块时）执行的代码定义测试URL并调用getHTMLText函数，打印结果

我代码中设置的网址是http://val.qq.com，由此程序可直接获取该网页源代码，将获取的代码粘贴复制到一个新建文本，然后更改文档名html，之后我们可以点击此快捷方式直接进入该网页变成瓦学弟。