抖音与B站爬虫实战，获取核心数据

于 2025-07-27 19:55:03 发布
阅读量2.3k 收藏 18
点赞数 17
CC 4.0 BY-SA版权
文章标签： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yzx991013/article/details/149694905

本文将深入讲解两大主流短视频平台（抖音、B站）的爬虫实战技术，提供可直接运行的代码解决方案，并分享突破反爬机制的核心技巧。

一、平台特性与爬虫难点对比

平台数据价值主要反爬措施推荐抓取方式
抖音视频数据、用户画像、热榜签名验证、TLS指纹、滑块验证Web接口+签名破解
B站弹幕、评论、视频元数据Referer校验、Cookie验证、频率限制API接口+模拟登录

二、抖音爬虫实战：获取用户视频数据

核心原理：破解X-Bogus签名

抖音通过X-Bogus参数保护接口，需使用JavaScript逆向技术生成签名。

python

import requests
import execjs  # 执行JS代码
import json

# 加载本地JS签名生成脚本（需提前保存）
with open('douyin_xbogus.js', 'r') as f:
    js_code = f.read()
ctx = execjs.compile(js_code)

def get_douyin_user_videos(user_id):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
        'Cookie': '你的抖音Cookie'  # 通过浏览器获取
    }
    
    # 构造原始URL
    base_url = f"https://www.douyin.com/aweme/v1/web/aweme/post/?device_platform=webapp&user_id={user_id}"
    
    # 通过JS生成X-Bogus签名
    xbogus = ctx.call('generateXbogus', base_url)
    signed_url = base_url + "&X-Bogus=" + xbogus
    
    try:
        response = requests.get(signed_url, headers=headers)
        data = response.json()
        
        # 解析视频数据
        videos = []
        for aweme in data['aweme_list']:
            video_info = {
                'id': aweme['aweme_id'],
                'desc': aweme['desc'],
                'create_time': aweme['create_time'],
                'duration': aweme['duration'] // 1000,  # 转为秒
                'likes': aweme['statistics']['digg_count'],
                'comments': aweme['statistics']['comment_count'],
                'url': aweme['video']['play_addr']['url_list'][0]
            }
            videos.append(video_info)
        return videos
    
    except Exception as e:
        print(f"抓取失败: {str(e)}")
        return []

# 使用示例
if __name__ == "__main__":
    user_id = "123456789"  # 替换为目标用户ID
    video_data = get_douyin_user_videos(user_id)
    print(f"获取到{len(video_data)}个视频")
    for video in video_data[:3]:
        print(video['desc'])
关键技术点：

  1. X-Bogus签名生成：

    • 需要逆向抖音官方JavaScript生成算法

    • 使用PyExecJS执行JS代码生成有效签名

  2. 关键参数获取：

    • user_id：通过分享链接获取（需URL解码）

    • Cookie：登录后从浏览器开发者工具获取

  3. 数据解析技巧：

    • 视频真实地址在play_addr.url_list

    • 时间戳需要转换格式

注：完整X-Bogus生成JS代码需单独获取（因篇幅限制未展示）

三、B站爬虫实战：获取视频弹幕与评论

方案1：直接获取弹幕数据（无需登录）

python

import requests
import re
import xml.etree.ElementTree as ET

def get_bilibili_danmaku(cid):
    """ 通过视频CID获取弹幕 """
    url = f"https://api.bilibili.com/x/v1/dm/list.so?oid={cid}"
    response = requests.get(url)
    response.encoding = 'utf-8'
    
    # 解析XML弹幕数据
    danmaku = []
    root = ET.fromstring(response.text)
    for d in root.findall('d'):
        attrs = d.attrib['p'].split(',')
        danmaku.append({
            'time': float(attrs[0]),
            'type': int(attrs[1]),
            'size': int(attrs[2]),
            'color': f"#{int(attrs[3]):06X}",
            'timestamp': int(attrs[4]),
            'text': d.text
        })
    return danmaku

# 使用示例
cid = "45678901"  # 通过视频API获取
danmaku_data = get_bilibili_danmaku(cid)
print(f"获取到{len(danmaku_data)}条弹幕")
方案2：获取视频评论（需模拟登录）

python

import requests
import time
import random

def get_bilibili_comments(bvid):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
        'Referer': f'https://www.bilibili.com/video/{bvid}',
        'Cookie': '你的B站Cookie'
    }
    
    comments = []
    page = 1
    while True:
        url = f"https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn={page}&type=1&oid={get_aid(bvid)}&sort=2"
        
        try:
            response = requests.get(url, headers=headers)
            data = response.json()
            
            if data['code'] != 0:
                print(f"错误: {data['message']}")
                break
                
            # 解析评论数据
            for reply in data['data']['replies']:
                comments.append({
                    'user': reply['member']['uname'],
                    'content': reply['content']['message'],
                    'like': reply['like'],
                    'time': time.strftime("%Y-%m-%d %H:%M", time.localtime(reply['ctime']))
                })
            
            print(f"已获取第{page}页评论")
            page += 1
            
            # 随机延迟防止封禁
            time.sleep(random.uniform(1.5, 3))
            
            # 检查是否还有下一页
            if page > data['data']['page']['count'] // 20:
                break
                
        except Exception as e:
            print(f"抓取出错: {str(e)}")
            break
    
    return comments

def get_aid(bvid):
    """ 将BV号转换为AV号 """
    table = 'fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF'
    tr = {table[i]: i for i in range(58)}
    s = [11, 10, 3, 8, 4, 6]
    xor = 177451812
    add = 8728348608
    r = 0
    for i in range(6):
        r += tr[bvid[s[i]]] * 58 ** i
    return (r - add) ^ xor

# 使用示例
if __name__ == "__main__":
    bvid = "BV1gK4y1N7Jb"  # 替换为目标视频BV号
    comment_data = get_bilibili_comments(bvid)
    print(f"获取到{len(comment_data)}条评论")
关键技术点：

  1. CID/AID获取：

    • 弹幕需要CID参数（通过视频API获取）

    • 评论需要AID（BV号需转换为AV号）

  2. 反爬突破技巧：

    • 必须携带Referer请求头

    • Cookie需定期更新（有效期约1天）

    • 请求间隔需随机化（1-3秒）

  3. 数据解析：

    • 弹幕为XML格式，属性包含位置/颜色/时间

    • 评论API返回分页JSON数据

四、高级反爬对抗方案

反爬类型解决方案工具推荐
签名验证JavaScript逆向PyExecJS/Frida
TLS指纹修改客户端指纹curl_cffi/requests_toolbelt
滑块验证打码平台/OCR识别ddddocr/第三方打码API
IP限制代理IP轮换快代理/站大爷

代理IP示例代码：

python

from itertools import cycle

proxies = cycle([
    'http://user:pass@192.168.1.1:8080',
    'http://user:pass@192.168.1.2:8080'
])

def make_request(url):
    proxy = next(proxies)
    try:
        return requests.get(url, proxies={"http": proxy}, timeout=10)
    except:
        return make_request(url)  # 自动切换下一个代理

五、法律合规边界

  1. 允许操作：

    • 抓取公开视频信息（非隐私内容）

    • 个人学习研究目的

    • 遵守robots.txt限制

  2. 禁止行为：

    • 破解付费内容

    • 抓取用户私信/手机号等隐私

    • 商业用途未经授权

    • 高频请求影响服务（>1次/秒）

建议：商业项目使用官方API（抖音开放平台/B站开放接口），个人学习控制请求频率

六、最佳实践建议

  1. 数据存储优化：

    • 使用消息队列（RabbitMQ）缓冲请求

    • 分布式存储（MongoDB分片集群）

  2. 错误处理机制：

    python

    # 重试装饰器示例
from tenacity import retry, stop_after_attempt, wait_random

@retry(stop=stop_after_attempt(3), wait=wait_random(min=2, max=5))
def safe_request(url):
    response = requests.get(url)
    response.raise_for_status()
    return response

  3. 监控体系：

    • 成功率监控（Prometheus）

    • 代理IP可用性检测

    • 自动切换签名算法版本

通过本指南，你可快速构建抖音/B站数据采集系统。随着平台反爬策略升级，需要持续关注接口变化并更新破解方案。建议优先考虑官方API方案，复杂场景可结合Selenium模拟真人操作。

如何使用Python采集抖音/TikTok视频元数据：完整爬虫教程
2201_76125261的博客
05-14 1753
抖音（Douyin）和TikTok是全球最受欢迎的短视频平台之一，每天都有海量的用户上传视频，平台上的内容多种多样，涵盖了娱乐、教育、科技、生活等各个方面。通过分析这些视频元数据，我们可以获得有价值的趋势、用户兴趣、互动模式等信息，进而进行社交分析、市场研究等应用。
2025爬虫实战:某音直播间实时弹幕获取原理及源码分析
代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。
04-18 1189
某音直播弹幕虽然没有直接挂在 DOM 上，但由于用的是西瓜播放器，弹幕是通过 JS 接口动态渲染的，这就给了我们 Hook 的机会。关键点是找到调用的位置，然后拦截并输出对象里的message字段。这个思路其实也适用于其他前端渲染的播放器，比如 B 站的 DPlayer、HLS.js、甚至很多自研播放器都有类似结构。
抖音小姐姐视频爬虫
罗罗攀
08-15 2192
前言 前段时间，创造101着实火了一把，问我pick哪位小姐姐，当然是唱歌老跑调，跳舞数拍子的杨超越了。其实在看创造101之前，就已经在抖音上关注了她，今天就来爬爬她的抖音视频（杨超越的抖音已经没有更新了），你的样子我都有~ 本文主要讲解： 抖音视频爬虫 视频下载 PS：虽然很多网友骂她没实力，但别人运气是真的好~ 抖音视频...
Python爬虫------批量爬取douyin视频，轻松爬取douyin视频（不包含付费内容）
2301_80254763的博客
07-11 2955
本文介绍了两种Python爬取douyin视频的方法。基础版使用requests模块直接获取API数据，但无法爬取所有视频（受抖音懒加载机制限制）。进阶版采用DrissionPage模拟浏览器操作，通过监听API请求获取用户滚动浏览的所有视频数据，解决了懒加载问题。进阶版需要用户手动登录并滚动页面，程序会自动收集视频信息，最终可以批量下载所有浏览过的视频。两种方法都提供了完整的代码示例，并包含异常处理和文件名清理等细节优化。
初学者对爬虫的实例（抖音/b站）python篇
tsk2642014359的博客
12-16 6169
1.我们要对pyhon的只是要有一定的基础知识例如：数组，字符串，列表等，这些基础知识是对爬虫过程中数据的处理，当你看到这篇文章时，说明你已经知道很多代码都是基于数据进行下去的，所以我们要对上述的基础只是要有一定的了解，但是也不用着急，这是保姆级教学。2.我们已经了解了python的基础知识是要对数据的处理，那么我们要开始进行对数据的获取了，在进行网络爬虫时，python最常用的就是requests，他是一个功能强大的库，requests 库是一个功能强大且广泛使用的 HTTP 请求库。
Python爬虫之如何爬取抖音小姐姐的视频
欢迎关注公众号：【码农突围】，回复9999，可以获取一份LeetCode刷题笔记
08-09 1万+
介绍这次爬的是当下大火的APP--抖音，批量下载一个用户发布的所有视频。各位也应该知道，抖音只有移动端，官网打开除了给你个APP下载二维码啥也没有，所以相比爬PC网站，还...
Python 爬虫——抖音App视频抓包
weixin_33704591的博客
01-22 3752
APP抓包 前面我们了解了一些关于 Python 爬虫的知识，不过都是基于 PC 端浏览器网页中的内容进行爬取。现在手机 App 用的越来越多，而且很多也没有网页端，比如抖音就没有网页版，那么上面的视频就没法批量抓取了吗？ 答案当然是 No！对于 App 来说应用内的通信过程和网页是类似的，都是向后台发送请求，获取数据。在浏览器中我们打开...
爬虫——有关抖音商品数据的爬取（蝉妈妈数据平台）
weixin_56263155的博客
08-26 1万+
总体代码运用了selenium自动化模块，能够有效地应对平台的反爬机制，从而有效地获取到网页的数据，但又由于使用的是selenium自动化模块，所以总体的代码运行效率不是很高，耗时长。整个数据预处理总体上使用了excel的功能，虽有效地解决了要解决的问题，但有些处理过程并不简单有效率，预处理只做了剔除重复值，删除空白字段，和对销售区间进行等级映射赋值，还有其他的预处理过程并未进行，使得数据格式或有效程度未达到最大。
抖音用户主页视频数据爬虫详解（点赞，收藏，分享等）
Dexter的博客
08-14 1万+
抖音用户主页视频数据爬虫详解（点赞，收藏，分享等）
爬虫实战:抖音视频搜索数据爬虫开发实战（附完整Python源码）
weixin_61226361的博客
04-19 2113
【代码】抖音视频搜索数据爬虫开发实战（附完整Python源码）
抖音大数据，教你爬爬爬！
热门推荐
my_only的专栏
09-30 1万+
昨天有朋友告诉我，在抖音里有一些特别火的视频，效果比付费广告还要好很多。但是上边只有点赞数和评论数，你能不能不花一分钱，爬到视频的曝光数？ 数字广告领域的朋友都了解，曝光、互动（点赞、评论、转发）等都很重要，尤其曝光数是不可或缺的。 那怎么查看视频的曝光数呢？ 第一个办法：视频作者自己可以看到曝光数，在作品列表里，视频左下角的数字就是曝光（浏览数）。 这跟微博是一样的，作者自己可以看到...
Python爬虫实战：利用最新技术爬取抖音话题挑战视频
2201_76125261的博客
07-03 1283
本文将详细介绍如何使用Python最新技术栈构建一个高效的抖音话题挑战视频爬虫。我们将从环境配置开始，逐步讲解请求模拟、数据解析、反反爬策略、数据存储等关键环节，并提供完整的代码实现。本文适合有一定Python基础的开发者学习高级网络爬虫技术。关键词：Python爬虫、抖音API、话题挑战、视频爬取、反反爬本文详细介绍了如何使用Python最新技术栈构建抖音话题挑战视频爬虫。我们从基础请求开始，逐步实现了数据解析、反反爬策略、数据存储等核心功能，并探讨了分布式和增量爬取等高级主题。更智能的反反爬策略。
Python移动端爬虫实战：模拟User-Agent与反反爬策略全解析
最新发布
2201_76125261的博客
07-21 1464
本文将深入探讨2024年最新的Python移动端爬虫技术，重点讲解如何通过模拟移动设备User-Agent绕过网站反爬机制。文章包含移动端爬虫的优势分析、最新User-Agent库使用、完整移动端爬虫实现、高级反反爬技巧以及移动端爬虫的伦理法律考量，并附有多个实战代码示例。关键词：Python爬虫、移动端爬虫、User-Agent、反反爬、selenium-wire、playwright在当今的互联网环境中，越来越多的网站针对桌面端爬虫设置了严格的反爬措施，而移动端的防护相对薄弱。流量差异。
Python爬虫经典案例合集——【8.移动端数据抓取】 详细讲解和代码示例
u010117029的博客
06-06 112
本文介绍了移动端数据抓取的进阶技术方案，主要包括：1）使用Frida进行微信小程序逆向和HTTPS抓包解密；2）利用mitmproxy解析加密API并生成签名参数；3）关键破解技术如绕过SSL证书锁定、Protobuf协议解析和设备指纹模拟。同时提供了企业级抓取架构设计，包含真机集群、协议逆向节点等组件。最后强调了法律合规要点，包括禁止破解付费API和获取用户隐私，建议使用官方接口并设置合规请求头。整体展示了从技术实现到系统架构再到合规运营的完整移动端数据采集解决方案。
【抖音数据采集秘籍】：揭秘关键词采集机制与实现
[【抖音数据采集秘籍】：揭秘关键词采集机制与实现](https://fashionchinaagency.com/wp-content/uploads/2021/08/17-1024x576.png) # 1. 抖音数据采集概述 在当今这个信息爆炸的时代，数据成为了互联网企业获取...
Python实现短视频下载：抖音平台爬虫源码详解
weixin_42591413的博客
07-12 866
网络爬虫是一种自动化获取网络数据的程序或脚本。它的核心功能是通过模拟浏览器行为，自动访问互联网上的网页，获取网页的HTML代码，进而分析并提取需要的数据。在大数据分析、搜索引擎优化（SEO）、市场研究等多个领域，网络爬虫都扮演着重要角色。
一篇文章教会你用Python抓取抖音app热点数据
pdcfighting的博客
06-10 2912
今天给大家分享一篇简单的安卓app数据分析及抓取方法。以抖音为例，我们想要抓取抖音的热点榜数据。 要知道，这个数据是没有网页版的，只能从手机端下手。 首先我们要安装charles抓包APP数据，它是一款收费的抓包修改工具，易上手，数据请求容易控制，修改简单，抓取数据的开始暂停方便等优势，网上也有汉化版，下载地址为 http://www.zdfans.com/html/42074.html，一路默认安装就ok了。 安装完成后要设置代理，依次点击代理——代理设置。 然后在手机端设置代理，如下图所示： 在保
爬取抖音数据实践方案《基础版》
huang_wei_cai的专栏
09-19 7640
背景： 现在移动短视频大火，很多的内容消费都在手机的客户端上进行。为了监控类似抖音短视频平台上的风险数据（主要是视频标题、视频内容、评论区），采用爬虫技术手段来实时爬取内容。 技术方案： python（脚本程序）+mitmproxy（代理服务器）+appium（自动化工具） 原理： 采用抓包的方式，通过设置代理服务器、以及设置https证书，让所有的http、https的请求...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

万能小贤哥

感谢大捞

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值