爬取动态网站数据（soup的css方式处理数据）

最新推荐文章于 2022-08-25 11:25:11 发布

原创最新推荐文章于 2022-08-25 11:25:11 发布 · 896 阅读

0 ·

CC 4.0 BY-SA版权

爬虫专栏收录该内容

16 篇文章

订阅专栏

本博客介绍了一种使用Python的requests库获取网页内容，并利用BeautifulSoup进行解析的方法。通过定义函数get_info()抓取指定页面范围内的标题、图片链接及详情链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup

url = 'https://knewone.com/discover?page='

def get_info(url,data=None):
    wd_data = requests.get(url)
    soup = BeautifulSoup(wd_data.text,'lxml')
    titles = soup.select('section.content > h4 > a')
    imgs = soup.select('a.cover-inner > img')
    links = soup.select('section.content > h4 > a')

    for title,img,link in zip(titles,imgs,links):
        data = {
            'title':title.get('title'),
            'img':img.get('src'),
            'link':link.get('href')
        }
        print(data)

def get_more(start,end):
    for one in range(start,end):
        get_info(url+str(one))

get_more(1,5)