java通过selenium chromedriver爬取评论

原创已于 2022-05-03 12:43:16 修改 · 1w 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#selenium #爬虫 #java

于 2022-05-03 12:23:12 首次发布

java 同时被 2 个专栏收录

16 篇文章

订阅专栏

数据爬取

4 篇文章

订阅专栏

本文介绍了如何处理网页中动态加载的内容，通过下载并使用ChromeDriver，配合Selenium Java库来模拟浏览器行为。首先，确保下载的ChromeDriver版本与Chrome浏览器相匹配，避免版本不兼容问题。接着，创建Maven项目，并添加Selenium依赖。在Java程序中，设置ChromeDriver路径，初始化Chrome浏览器，然后滚动页面加载完整内容，通过定位元素获取所需数据。最后，关闭浏览器完成爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取数据时一般会遇到一种情况，就是爬取的内容是慢加载，无法直接爬取。

这种情况就只能通过模拟浏览器访问来获取数据

第一步：下载谷歌浏览器引擎 chromedriver

推荐不要下载太高的版本。不然会报版本不符合。主要原因还是Selenium Chrome浏览器版本与chromedriver驱动不兼容。

Driver info: driver.version: ChromeDriver

remote stacktrace: Backtrace:

chromedriver下载地址：

http://chromedriver.storage.googleapis.com/index.html

第二步：编写java爬取程序

新建maven程序

在maven文件中添加selenium-java

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>

  <groupId>a</groupId>
  <artifactId>a</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>jar</packaging>

  <name>a</name>
  <url>http://maven.apache.org</url>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>3.8.1</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.seleniumhq.selenium</groupId>
      <artifactId>selenium-java</artifactId>
      <version>3.4.0</version>
    </dependency>
  </dependencies>
</project>

编写爬取代码

package a.a;

import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.WebElement;
import org.openqa.selenium.chrome.ChromeDriver;

/**
 * Hello world!
 *
 */
public class App 
{
    public static void main( String[] args )
    {
        //chromedriver存放地址;
    	System.setProperty("webdriver.chrome.driver", "D:/chromedriver_win32/chromedriver.exe");

        //调用chrome
        WebDriver driver = new ChromeDriver();

        //调整高度
        //((ChromeDriver) driver).executeScript("window.scrollTo(0, document.body.scrollHeight);");

        //获取网址
        ((ChromeDriver) driver).get("https://www.douyin.com/video/7062565602560396579");
        
        
        //根据class获取内容
        WebElement  element = driver.findElement(By.className( "BOJBWh64"));
        String content=element.getText();
        System.out.println(content);
        //关闭浏览器
        driver.close();
    }
}

获取结果