python实现requests+BeautifulSoup网络爬虫_request + beautifulsoup 编写原生网络爬虫-CSDN博客

本文链接：https://blog.csdn.net/weixin_43334925/article/details/114577758

本文介绍如何使用BeautifulSoup解析网页内容，对比不同解析器的特点：如python标准库的适中执行速度与良好的文档纠错能力；lxmlHTML解析器的高速度与文档纠错能力；lxmlxml解析器作为唯一支持XML解析的选择；以及html5lib的优秀容错性和以浏览器方式生成HTML5格式文档的能力。同时提供代码实例展示如何选取特定元素。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

BeautifulSoup参数

解析器	使用方法	优势	劣势
python标准库	BeautifulSoup(markup,“html.parser”)	python内置标准库执行速度适中文档纠错能力强	python2.7.3以前的版本容错能力差
lxml HTML解析器	BeautifulSoup(markup,“lxml”)	速度快文档纠错能力强	需要安装C语言库
lxml xml解析器	BeautifulSoup(markup,[“lxml”,“xml”])	速度快唯一的支持解析的xml的解析器	需要安装C语言库
html5lib	BeautifulSoup(markup,“html5lib”)	最好的容错性以浏览器的方式解析文档生成html5格式的文档	速度慢不依赖外部库

代码实现

代码

'''
部分源码
<tr class="mBg2"onmouseover="jQuery(this).addClass('bgon');
"οnmοuseοut="jQuery(this).removeClass('bgon');">
	<td class="wd1">1</td>
	<td class="wd2 bOS">
		<a target="_blank" href="http://xf.house.163.com/gz/0SJN.html">南沙心意华庭</a></td>
	<td class="wd3"><a href="#" onclick="gotrend('南沙心意华庭')"></a></td>
	<td class="wd4">南沙</td>
	<td class="wc5 bgOnS">4</td>
	<td class="wc6">425</td>
	<td class="wc7">--</td>
	<td class="wc8">--</td>
	<td class="wc9">658</td>
	<td class="wc10">54202</td>
	<td class="wc11">18</td>
	<td class="wc12">1944</td>
'''
import requests
from bs4 import BeautifulSoup

url = 'http://data.house.163.com/'
res = requests.get(url=url)
# res.enconding = 'utf8'     # 出现乱码需进行编码
soup = BeautifulSoup(res.text, 'lxml')
[i.get_text() for i in soup.select('.wd2.bOS a')]  # 寻找class节点
[i.get_text() for i in soup.select('.wd4')]
[i.get_text() for i in soup.select('.wc5.bgOnS')][1:]
[i.get_text() for i in soup.select('.wc6')][1:]