Python 爬虫进阶篇——Selenium教程（一）

最新推荐文章于 2025-07-02 16:31:56 发布
原创 最新推荐文章于 2025-07-02 16:31:56 发布 · 1k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #selenium #爬虫

Python 爬虫进阶篇——Selenium教程（一）

在之前的推文中介绍了一些爬虫的一些方法，不过这些方法基本上都是基于静态页，然而现实中大部分的页面的都是动态渲染的。requests固然很强大，却无法执行javaScript。

一、Selenium简介

Selenium最初是一个自动化测试工具，Selenium可以驱动浏览器自动执行自定义好的逻辑代码，即通过代码完全模拟使用浏览器自动访问目标站点并操作，所以也可以用来爬虫。

二、安装

pip install selenium

既然需要使用浏览器模拟，那么自然还需要安装浏览器驱动：

  1. Google浏览器驱动

https://sites.google.com/a/chromium.org/chromedriver/downloads​sites.google.com/a/chromium.org/chromedriver/downloads

2. Edge浏览器

Micr

最低0.47元/天 解锁文章

新学期VIP享超值加赠
100天精通Python（爬虫篇）——第118天：selenium自动化操作浏览器基础大总结
努力让自己发光，对的人才能迎着光而来
07-18 3万+
一、Selenium框架环境搭建 1. 下载模块 2. 安装浏览器驱动WebDriver 二、基础操作 1. 打开浏览器 2. 无界面模式 3. 元素定位 4. 元素操作 5. 前进后退 6. 执行js 7.页面等待 隐式等待（常用） 显式等待（了解） 三、进阶操作 1. 使用代理ip 2. 修改请求头 3. 隐藏指纹特征.....................
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
热门推荐
孤寒者的博客
08-09 64万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
python爬虫Selenium库详细教程
qq_38887171的博客
11-26 1759
在我们爬取网页过程中，经常发现我们想要获得的数据并不能简单的通过解析HTML代码获取，这些数据是通过AJAX异步加载方式或经过JS渲染后才呈现在页面上显示出来。 selenuim是一种自动化测试工具，它支持多种浏览器。而在爬虫中，我们可以使用它来模拟浏览器浏览页面，进而解决JavaScript渲染的问题。 1. 使用示例 2. 详细介绍 2.1 声明浏览器对象 即告诉程序，应该使用哪个浏览器进行操作 2.2 访问页面 2.3 查找元素 ...
Selenium使用教程-爬虫版（超详细）
最新发布
m0_64408930的博客
07-02 1万+
本文主要讲selenium在爬虫的使用
Python-selenium 安装教程
08-04
本文主要讲述如何安装python和selenium
基于Python的Selenium详细教程总结（极简版）
weixin_41663997的博客
05-23 1307
Python Selenium 爬虫技术的超级简单的总结
100天精通Python丨黑科技篇 —— 21、大语言模型_100天精通python快速入门到黑科技
m0_60452141的博客
04-26 1725
ChatGPT 是 OpenAI 推出的一种基于 GPT-3/4 的聊天机器人。chatgpt 的颠覆性影响主要体现在提高语言交流的便捷性、个性化服务、自动化客服和教育娱乐等方面，这些应用可以为用户带来更多的便利和乐趣，同时也为企业提供了更多的服务和商机。本文收录于，是由的硬核博主倾力打造，分基础知识篇和黑科技应用两大部分，欢迎订阅本专栏，订阅后可私聊进Python全栈VIP交流群（问题解答、互相帮助）还可领取20GPython视频和100本互联网行业电子书。
selenium进阶
MXB1220的博客
07-28 285
code获得cookie信息添加cookie删除部分cookie删除所有的cookie。
Python 爬虫进阶篇——diskcache缓存
th1522856954的博客
06-24 2931
在之前的python爬虫系列中介绍了几种爬取网页内容的方法以及request模块的相关内容，本次推文给大家介绍缓存相关的内容，选择的是diskcache即基于磁盘的缓存。 一、简介 DiskCache是Apache2许可的磁盘和文件支持的缓存库，用纯Python编写。 当进程使用内存时，磁盘上会留下千兆字节的空余空间。这些进程中有用Memcached（有时是Redis）作缓存。DiskCache有效地将空余的磁盘空间用于缓存。 二、安装 安装很简单 pip install disk...
Python爬虫进阶——爬取数据js动态加载的网页
zhiyan6415的博客
04-29 1万+
上一篇章，讲解了python简单爬取网页静态数据的方法。今天，来讲讲如何用python爬去数据用js动态加载的网页。 所用到的库selenium以及与它搭配的webdriver，用来打开浏览器，从网页中读取数据的过程，这样才能找到数据。 代码如下： from selenium import webdriver import time import xlwt import datetime '''get the url of the aim''' url = 'https://m.dewu.com/rout
Selenium 使用教程
kerongao的博客
11-20 1488
Selenium 使用教程 1. 概述 本文介绍了如何使用Selenium和JUnit来抓取页面信息 2. Selenium 集成 在下面，我们将从一个简单的场景开始：打开一个浏览器窗口，导航到一个给定的URL并在页面中寻找一些所需的内容 2.1 Maven 依赖 在pom.xml文件中，添加以下依赖项: <dependency> <groupId>org.seleniumhq.selenium</groupId> <artifactId>se
selenium(基于python)学习教程
05-25
包括selenium的安装所需软件，学习的文档：<>教你如何使用，<>全面的例子，<>selenium教科书
selenium视频教学
04-09
很多同学自学selenium看的一些文档都是很痛苦的，我在这儿给大家弄了一些视频。分享给同学们。
Selenium新手入门教程
09-01
Selenium新手入门教程，便于学习和使用selenium
利用selenium爬虫抓取数据的基础教程
12-31
写在前面 本来这篇文章该几个月前写的，后来忙着忙着就给忘记了。 ps:事多有时候反倒会耽误事。 几个月前，记得群里一朋友说想用selenium去爬数据，关于爬数据，一般是模拟访问某些固定网站，将自己关注的信息进行爬取，然后再将爬出的数据进行处理。 他的需求是将文章直接导入到富文本编辑器去发布，其实这也是爬虫中的一种。 其实这也并不难，就是UI自动化的过程，下面让我们开始吧。 准备工具/原料 1、java语言 2、IDEA开发工具 3、jdk1.8 4、selenium-server-standalone（3.0以上版本） 步骤 1、分解需求： 需求重点主要是要保证原文格式
Selenium 详细教程
CS_Hoyun的博客
04-12 2万+
文章目录selenium 简介代码环境chromedriver介绍下载：安装说明验证是否成功：定位方法id定位name定位tag name 定位link定位 | partial link定位class定位xpath 定位css定位复数定位快失传了的定位xpathcss操作事件JS处理滚动条切换iframe切换窗口弹窗处理鼠标事件键盘事件页面截图方法页面等待问题1. selenium 原理是什么？ selenium 简介 Selenium是最广泛使用的开源Web UI（用户界面）自动化测试套件之一。它最初
Selenium教程系列（五）：xpath进阶
kingzhsh的博客
09-13 3340
现在介绍xpath里，一些常用的函数，叫方法也行，一个意思。前面的网页案例，再改下源码 <!doctype html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Document</title> </head> <body&g...
Python中Selenium库使用教程详解
liusscsdn的博客
06-17 1297
Python中Selenium库使用教程详解 这篇文章主要介绍了Python中Selenium库使用教程详解,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下 selenium介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏览器 中文参考文档
爬虫神器Selenium傻瓜教程，看了直呼牛掰
npm_run_dev__的博客
09-15 1万+
爬虫神器Selenium全攻略，小白看了直呼牛掰！
"大学生Python爬虫入门指南——实用工具与实战技巧
第四章《Python爬虫进阶》进一步扩展了爬虫的应用领域。其中涉及到一些高级技术，如多线程爬虫、分布式爬虫和反反爬虫策略等。这些技术可以提高爬虫的效率和稳定性，应对一些复杂的情况。 通过学习《大学生 Python...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值