selenium爬取不到内容，怎么解决

最新推荐文章于 2023-02-02 11:58:46 发布

原创

最新推荐文章于 2023-02-02 11:58:46 发布 · 992 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了如何使用selenium配合Chrome浏览器驱动抓取网页数据。通过模拟键盘操作PgDn进行页面滚动，实现动态加载内容的抓取。之后利用BeautifulSoup解析页面源码，提取出标题、内容和标签列表，并打印它们的长度。该示例适用于处理JavaScript渲染的内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import numpy as np
import pandas as pd
import time
from urllib import request

import os

from selenium import webdriver
# 指定网址华润万家 https://tousu.sina.com.cn/company/view/?couid=2015149711
url = 'https://tousu.sina.com.cn/company/view/?couid=2015149711'
driver = webdriver.Chrome(r"C:\Users\CchengFengF\Desktop\大四上期末\chromedriver.exe")
driver.get(url)

from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.common.keys import Keys

# 设置高度变量
aims = 10
num = 0
while True:

if num == aims:
break
else:
# 模拟键盘 PgDn进行翻页
ActionChains(driver).send_keys(Keys.PAGE_DOWN).perform()
time.sleep(1)
num+=1
print(num)

pageSou