用Selenium+lxml库完成淄博链家网数据的爬取

一、淄博链家二手房网站地址

url=https://zb.lianjia.com/ershoufang/

二、基本知识点总结 

这个代码是一个使用 Selenium 和 lxml 库编写的网络爬虫，用于从链家网（Lianjia）的二手房列表页面中提取房屋信息。

代码结构

1. 导入库：

   • time：用于控制时间延迟。

   • lxml.etree：用于解析 HTML 文档并提取数据。

   • selenium：用于自动化浏览器操作，模拟用户点击和页面跳转。

   • selenium.webdriver：提供浏览器驱动（如 ChromeDriver）。

   • selenium.webdriver.support.ui.WebDriverWait：用于等待页面元素加载。

   • selenium.webdriver.common.by.By：用于定位页面元素。

2. 配置 ChromeDriver：

   • 指定 ChromeDriver 的路径，并初始化 Service 对象。

3. 解析详情页：

   • parse_detail_page(link)：打开详情页，等待页面加载完成后调用 parse_detail_info 提取信息，然后关闭详情页并返回列表页。

4. 解析详情页信息：

   • parse_detail_info(source)：使用 lxml.etree 解析 HTML 源码，提取价格、标题、地址、面积和户型等信息。

5. 主循环：

   • 打开链家网的二手房列表页面。

   • 使用 lxml.etree 解析列表页，获取每个房源的链接。

   • 遍历每个房源链接，调用 parse_detail_page 提取详细信息。

   • 点击“下一页”按钮，重复上述过程，直到没有下一页为止。

6. 关闭浏览器：

   • 在所有操作完成后，关闭浏览器。

基本知识点