【webrtc】使用音视频source创建音视频track

最新推荐文章于 2025-03-24 18:15:00 发布
最新推荐文章于 2025-03-24 18:15:00 发布
阅读量739 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： WebRTC入门与实战
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/commshare/article/details/114362699
在实际的WebRTC应用中，整合多种音视频源时，发现其设计复杂，尤其是在OWT封装后。本文深入探讨了如何利用VideoTrackSourceInterface创建VideoTrack，包括rtc::AdaptedVideoTrackSource的使用、PeerConnectionFactory创建track的过程，以及OWT如何处理源的引用和封装。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 实际使用中，发现看起来很简单，实际上还有挺绕的。
  • 尤其是做成sdk 融合好几个源的时候。
  • 就发现他这个设计，特别是owt包了一层变stream localstream 之后，还是有不少抽象的。
  • 对于音频，实际上 audio track 和audio source 没有关联， 参看我这篇文章

webrtc的VideoTrackSourceInterface

  • 继承 rtc::VideoSourceInterface

在这里插入图片描述

webrtc的VideoTrackSource 继承Notifier

  • G:\GERRIT\src\third_party\webrtc\pc\video_track_source.h

了解本专栏 订阅专栏 解锁全文
【webrtc】LocalAudioSource并未关联AudioDeviceModule 实现音频采集
突围
03-01 731
上一篇 OWT的桌面共享流 中，看到audio track的创建，webrtc api 的 LocalAudioSource 似乎无实质性内容？ 看下webrtc 官方原版的例子实现： F:\WEBRWTCSTORE\webrtc-checkout\src\examples\peerconnection\client\conductor.cc 确实如此。 音频的采集是 AudioDeviceModule 实现的，由媒体引擎实现。 这位大神也有分析 这位 大神分析后， 对于rtc实现音频采集播..
webrtc中的Track,MediaChannel,MediaStream
mo4776的博客
04-14 2192
Audio/Video track，MediaChannel，MediaStream是Webrtc的业务核心，对媒体的操作都是围绕着这三个对象进行，弄清出它们见的关系及作用，就等于弄清了Webrtc的骨架，对阅读Webrtc的代码大有益处。根据本地sdp或sdp的协商结果，来产生MediaChannel，MediaChannel代表一个Video或Audio通道，里面会有多个不同方向的MediaStream。sdp中的媒体信息需要转化为具体的编解码器，rtp流的信息。这些信息最终会分别变成为。
WebRTC手记之本地视频采集
weixin_30426065的博客
03-28 653
转载请注明出处：http://www.cnblogs.com/fangkm/p/4374610.html 前面两篇文章介绍WebRTC的运行流程和使用框架接口，接下来就开始分析本地音视频的采集流程。由于篇幅较大，视频采集和音频采集分成两篇博文，这里先分析视频采集流程。分析的时候先分析WebRTC原生的视频采集流程，再捎带提一下Chromium对WebRTC视频采集的适配，这样能更好地理解Web...
webrtc的source、track和stream
NB_vol_1的专栏
12-04 1762
media stream是track的集合（即track的容器） source是track的输入 一个sender或者receiver对应于一个track，它们负责track的发送或者接收
WebRTC的source、sink、track关系
chenquangobeijing的专栏
05-07 831
Source代表源，比如摄像头、桌面，sink是消费。一个source可以对应多个sink。比如摄像头需要显示，编码。一个track包括了Source和sink。 VideoSourceInterface有AddOrUpdateSink，建立了source和sink的关系，类似filter的连接。 VideoSinkInterface有OnFrame，视频就回调到这个函数。 红色方框是peerconnection_client用到的类。 ...
TSINGSEE青犀视频开发WebRTC使用VideoTrackSourceInterface编译报rtc::scoped_refptr＜CustomVideoTrackSource＞::ptr_错误
TSINGSEE青犀视频官方技术博客
01-19 494
我们上一篇说到TSINGSEE青犀视频开发团队已经基本实现了WebRTC的视频推流和播放，还剩一些小问题需要我们优化。 我们使用VideoTrackInterfaceInterface类对WebRTC进行编译，在重写的该类时，程序编译崩溃报错：“初始化”：无法从“T *”转换为“T *”; “rtc::scoped_refptr::ptr_”：未能初始化成员。 我们双击该错误，定位到了该函数成员rtc::scoped_refptr，而rtc::scoped_refptr类是WebRTC的一个
WebRtc实现音视频通话、屏幕共享（Android）
XunYoua的博客
04-04 172
WebRTC (Web Real-Time Communications) 是一项实时通讯技术，它允许网络应用或者站点，在不借助中间媒介的情况下，建立浏览器之间点对点（Peer-to-Peer）的连接，实现视频流和（或）音频流或者其他任意数据的传输。WebRtc起初是由Global IP公司创造出来的，后来被Google收购并将这门技术改名为WebRtc。WebRTC是一项实时通信领域革命性的技术，在实时音视频通信领域已经产生了深远的影响。WebRtc主要被用于音视频即时会议通话。
WebRTC音频 05 - 音频采集编码
Ziwubiancheng的博客
10-18 658
本文主要介绍了音频数据采集线程、编码线程如何配合完成音频数据从采集到编码发送的流程。涉及到引擎层的AudioState（包括其中的adm），以及ACM模块，还有Call模块，如果不了解这几个模块，可以看我的WebRTC音频 03 - 实时通信框架-CSDN博客。
Android端WebRTC本地音视频采集流程源码分析
冬季穿短裤
12-02 2521
Android端WebRTC本地音视频采集流程源码分析
Android WebRTC实现音视频对讲
OldApple_MrZ的博客
11-12 3014
WebRTC新建Android工程 并添加依赖渲染视频的view初始化控件初始化PeerConnectionFactor注册事件监听发送offer收到Offer发送answer收到answerCandidate变化服务端代码找到自己电脑的ip 慕课网课程webrtc入门学习后的总结 新建Android工程 并添加依赖 build.gradle android { ... compi...
VideoTrack, VideoCapturer, VideoTrackSource的类图
奔向火星的博客
05-24 2086
前两章为了简化分析，画的类图省略了很多，现在补上相对完整一点的类图，以备后面需要查看。 VideoTrack: VideoTrackSource: WebRtcVideoCapturer:
webrtc 外部视频源
book_shuinan的专栏
07-04 932
webrtc最新版对视频采集的包装变化挺大，以前的VideoCapurter都不见了。 现在要用VideoTrackSource来组织外部视频源，可以参考：FakePeriodicVideoTrackSource的实现 ...
WebRTC音视频通话-WebRTC视频自定义RTCVideoCapturer相机
一名开发者
08-15 7160
WebRTC音视频通话-WebRTC视频自定义RTCVideoCapturer相机。主要获得相机采集的画面CVPixelBufferRef，将处理后的CVPixelBufferRef生成RTCVideoFrame，通过调用WebRTC的localVideoSource中实现的didCaptureVideoFrame方法
webrtc-自定义视频流-实现篇(基于release-54)
llsixly
05-11 8317
我所使用的webrtc是release-54版本，后续我也看过release-56版本的代码，发现有许多的代码差别很大，所以如果版本不同很大可能无法直接使用代码，请注意。我所开发的webrtc是基于centos7进行开发的，所以如果我没有特意标注的情况下都指的是linux下的webrtc，看官请知悉。 总记 步骤 1.整体介绍 2.EncodedImage和CodecSpecificInfo...
webrtc 代码学习（七）AddVideoTrack
Miracle_包子
11-11 1340
AddVideoTrack 作者：LanPZzzz 本章我们简单讲述下pc->AddVideoTrack 文章目录1. 如下代码\examples\peerconnection\client\conductor.cc（546行）2. peer_connection_factory_->CreateVideoSource3. VideoTrack::Create（pc\videotrac...
TSINGSEE青犀视频编译WebRTC使用VideoTrackInterface类析构崩溃报“引发了异常：读取访问权限冲突”问题
TSINGSEE青犀视频官方技术博客
01-12 323
在TSINGSEE青犀视频开发WebRTC时，使用了VideoTrackInterface类，WebRTC创建了一个VideoTrack实现VideoTrackInterface接口，VideoTrack新建了一个VideoTrackRenderers对象来完成VideoRendererInterface接口到VideoRenderer接口的适配工作。VideoTrackRenderers一方面从VideoRenderer接口派生，这样就可以将自己通过VideoSourceInterface的AddSink
【WebRTC---源码篇】（二:二）视频源VideoSourceBase
用可见的方式来记录和分享每一次收获
08-30 1188
2.此外还持有SinkPair数组，SinkPair中包含VideoSinkInterface<webrtc::VideoFrame>，它是视频源的消费者，一般Sink使用者都会继承这个类，并且这个类具有处理webrtc::VideoFrame的能力，1.VideoSourceBase是一个音频源承上启下的中间件，它首先继承模板类VideoSourceInterface并且接收参数<webrtc::VideoFrame>，有处理<webrtc::VideoFrame>的能力。}来获取消费者列表。
webrtc 视频采集的处理
book_shuinan的专栏
07-24 1312
如果想启动摄像头，并预览视频，m76中的做法是： 首先定义一个VideoTrackSource ， class CapturerTrackSource : public webrtc::VideoTrackSource { 。。。 具体后面说明 } 之后创建该VideoTrackSource的一个实例，这个实例用于后面创建VideoTrack。 不过，创建的使用要注意后续释放...
【WebRTC-11】如何理解webrtc的Source、Track&Sink
最新发布
vx number：zzr_admin，拉入技术交流群。
03-24 1288
如何理解VideoSource、VideoTrack&VideoSink三者的关系？它们只能是1v1v1的关系吗？有前三者，还有一个MediaStream，如何理解其作用？
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

等风来不如迎风去

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值