docker+chrome+selenium 部署无头模式爬虫出错

最新推荐文章于 2024-05-10 09:37:01 发布
最新推荐文章于 2024-05-10 09:37:01 发布
阅读量811 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 杂货 文章标签： docker selenium chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/daixiangzi/article/details/115401177
在Ubuntu 20.04上使用Chrome遇到DevToolsActivePort文件不存在及libgbm.so.1缺失的问题。通过安装libgbm1库成功解决了启动错误，确保了Chrome浏览器的正常运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

python3.8 chrome+chromdrive+ubuntu20.04版本都是对应的

错误代码:

DevToolsActivePort file doesn't exist

按照之前的方案加上如下代码:

options = webdriver.ChromeOptions()

options.add_argument("headless")

options.add_argument('no-sandbox')

错误依旧会出现

然后直接执行我的chrome:

/opt/google/chrome/google-chrome

出现:

libgbm.so.1: cannot open shared object file: No such file or directory

这下发现根源了

直接apt-get install libgbm1

再启动就没问题了..

拿来直接用（java+selenium+WebDriver+chrome+docker实现爬虫）
paq6411的博客
07-31 1622
如果你不需要在linux docker 上运行爬虫，就不需要看这篇文档了，直接拉到最下面点击第二个 参考文档 即可。问：selenium+WebDriver+chrome 是如何实现爬虫的或者自动化测试的。答：selenium WebDriver 可以模拟页面上的操作，仿佛一个测试人员 正在拿着鼠标在页面上点来点去。并且可以获取页面上的元素，元素的属性值。创建一个WebDriver对象，就是打开一个会话。
selenium+chrome driver封装docker镜像
平凡
06-12 2228
文章目录背景解决方案参考 背景 最近使用chrome driver + python selenium模拟网站登录，以进行持续保活。 但长时间运行后时出现了程序崩溃现象。到网上搜了下，这是个普遍问题。 解决方案 思路 使用Docker封装程序 + 运行在Kubernetes。 这样当程序崩溃后，Kubernetes会把它重新拉起，免去人工运维的麻烦。 实现 逻辑上分为三部分： 主程序 requirements.txt Dockerfile 主程序逻辑大同小异, 例如main.py： from se
docker-chrome-headless:Docker映像，用于使用无头的Chrome浏览器，灯塔，赛普拉斯和wappalyzer进行自动测试
03-26
谷歌浏览器无头（和朋友们） 该图像主要用于自动化测试。 它提供： 安装所有这些程序包将使映像很大（1.3 GB）:-(它当前基于Ubuntu 18.04，我们还尝试了Alpine，但这仅减少了100 MB。磁盘空间主要被Node-Dependecies吞噬了（350 MB），赛普拉斯（500 MB）和谷歌浏览器（200 MB）。我们欢迎提出如何将其最小化的建议。 用法示例 # find out what technologies are used on the site docker run -ti --rm scalecommerce/chrome-headless wappalyzer https://www.google.com/ # save technologies to json file docker run -ti --rm -v $(pwd):/opt/reports
docker+python无头浏览器爬虫
AHAU10的专栏
01-07 3587
1.虚拟机安装ubunt16.04。 2.安装docker。这两年网上关于docker的讨论不亚于当年的云计算。 现在云计算和docker已经落地生根了。大数据也已经开始发芽了。你是否经常因为环境搭不成功而沮丧？是时候沾沾docker了。海量数据从哪儿来？世上本无所谓大数据的，爬的多了，自然就有数据了。 ubt1606@ubt1606-virtual-machine:~$ docker Th
docker-google-chrome-headless：Google Chrome无头-Docker映像
02-03
docker-google-chrome-headless：Google Chrome无头-Docker映像
Chrome无头模式代码测试及出错原因浅析。
niudaiche的博客
06-06 2247
Chrome无头模式–headless一、chromedriver版本不对或者chromedriver32位并没有放置正确位置二、另外一个问题 Chrome无头模式代码测试及出错原因浅析。 // from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument('--headless') driv
python selenium headless chrome docker 无GUI爬虫
baidu_28258377的博客
02-11 1049
1 安装chrome docker run -d -p 4444:4444 selenium/standalone-chrome 2 运行代码 # coding=utf-8 from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities if __name__ == '__main__': try: driver =
[Python] 用 Docker + Python + Selenium 抓取
pythonandaiot的博客
12-29 680
介绍 在上一篇文章中，我用Docker容器创建了一个Python环境，并尝试操作Selenium。 这次以网页的形式输入数值，查看结果的显示。 请注意，它可能很难看到，因为我写它是为了保留使用 Selenium 操作网页的基本部分的备忘录。 进行 这一次，我将尝试以下项目。 1. 使用 Selenium 启动 Chrome。 2. 显示网页。 3. 单击页面中的按钮元素可移动到该页面。 4. 等待过渡后页面上显示所需元素。 5.从页面的p元素中获取文本。 6. 单击页面中的按钮元素，显示对话框。 7.
java+selenium+linux(docker)实现无界面爬虫自动化扣作
vico博客
05-17 2821
docker配置查看下面链接资料 https://blog.csdn.net/songer_xing/article/details/78626592 selenuim无界面，docker->linux下运行环境安装 1 下载chrome需要的依赖包 yum install libX11 libXcursor libXdamage libXext libXcomposite libXi l...
python selenium chromdriver爬虫部署到docker
sinat_32823207的博客
03-24 905
1、下载基础镜像 # 这里以centos7为例 docker pull centos:centos7 2、生成requirements.txt 1、pip freeze > requirements.txt这种会将所有的包都生成 2、使用 # 安装 pip install pipreqs # 在当前目录生成 pipreqs . --encoding=utf8 --force 注意 --encoding=utf8 为使用utf8编码，不然可能会报UnicodeDecodeError: 'gbk' c
docker 中使用 selenium + chrome 出现 chrome 崩溃的解决办法
掠雪墨影的随记
07-08 8154
docker 中使用 selenium + chrome 出现 chrome 崩溃的解决办法。此问题为共享内存/dev/shm不足引起的
Docker selenium自动化 - 执行程序没反应、不执行原因，强制处理之前失败的进程，“... requests waiting for a slot to be free“问题解决
小蓝枣的博客
11-18 1430
docker 运行 selenium 自动化发现根本不向下走了。 访问 Grid 控制台发现提示 3 requests waiting for a slot to be free. 原因是之前执行失败的进程没有正常释放才会出现阻塞的问题。 查看详细信息可以看到超时时间为 1800 秒，即问题进程卡 30 分钟才会自动释放掉。 通过 cocker restart + 实例名 来强制释放失败的进程。 脚本改进方案： 通过 try [关键代码] finally [进程释放]的方式可以避免调试过程中的进程不释放问题
python无头浏览器兼容问题_python3 selenium 无头浏览器 无界面 chromedriver
weixin_39828457的博客
12-09 594
第一种from selenium import webdriver# 创建chrome参数对象opt = webdriver.ChromeOptions()# 把chrome设置成无界面模式，不论windows还是linux都可以，自动适配对应参数opt.set_headless()# 创建chrome无界面对象driver = webdriver.Chrome(options=opt)# 访问百...
linux centos安装google chrome浏览器使用headless无头模式 制作docker镜像
TimBL_的博客
02-13 5262
linux centos安装google chrome浏览器使用headless无头模式 制作docker镜像
selenium 配置无头浏览器
import_hair的博客
03-05 834
from selenium.webdriver import Chrome from selenium.webdriver.support.select import Select #无头 from selenium.webdriver.chrome.options import Options # 准备好参数配置 opt = Options() opt.add_argument("--headless") opt.add_argument("--disable-gpu") web = Chrome(.
python爬虫之selenium，谷歌无头浏览器加规避风险
weixin_45580742的博客
11-11 677
from time import sleep from selenium import webdriver # 规避风险且创建一个参数对象，用来控制chrome以无界面模式打开 from selenium.webdriver import ChromeOptions option = ChromeOptions() option.add_experimental_option('excludeS...
linux让程序在后头运行,教你一招，让Selenium在Linux中以有头模式运行
weixin_26834281的博客
05-11 170
经常使用 Selenium 或者 Puppeteer 的同学都知道，启动的 Chrome 浏览器分为有头模式和无头模式如果是有头模式，则会弹出一个 Chrome 浏览器窗口，然后你能看到这个浏览器里面在自动操作；而无头模式则不会弹出任何窗口，只有产生一个进程下面这篇文章中，我们介绍了一个探测模拟浏览器特征的网站通过他我们可以发现，在不做任何设置的情况下，Selenium 或者 Puppeteer ...
探索WebLoop：Go语言中的无头WebKit框架
最新发布
gitblog_00055的博客
05-10 819
探索WebLoop：Go语言中的无头WebKit框架 WebLoop是一款强大的开源项目，它为开发者提供了一个可脚本化的、无头的WebKit接口，并且拥有Go语言API。这个项目类似于著名的PhantomJS，但专为Go语言设计，旨在帮助您实现动态HTML页面的静态渲染、自动化浏览和在浏览器窗口上下文中运行JavaScript等功能。 项目介绍 WebLoop的核心功能在于其可以作为一个静态HTM...
Python + Selenium【无头模式 headless】
m0_46234991的博客
04-17 994
所谓浏览器的无头模式headless，就是浏览器在运行时处于后台操作的模式，不会看到浏览器打开，也就不会干扰你手头的工作。对于自动化测试和网络爬虫都有很大的价值。 from selenium.webdriver.firefox.options import Options from selenium import webdriver firefox_path = r'geckodriver.exe' options = Options() options.headless = True # 设置无头模式为
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值