Qt/C++音视频开发24-ffmpeg音视频同步

一、前言

用ffmpeg来做音视频同步，个人认为这个是ffmpeg基础处理中最难的一个，无数人就卡在这里，怎么也不准，本人也是尝试过网上各种demo，基本上都是渣渣，要么仅仅支持极其少量的视频文件比如收到的数据包是一帧视频一帧音频的，要么根本没法同步歪七八糟的，要么进度跳过去直接蹦蹦蹦崩溃的，其实最完美的音视频同步处理demo就是ffplay，我亲测过几十种各种各样的音视频本地文件，数十种视频流文件，都是非常完美，当然啦这是亲生的啦，不完美还玩个屁。

如果仅仅是播放视频流（不带音频流），可能不需要音视频同步，所以最开始只做rtsp视频流播放的时候根本没有考虑同步的问题，因为没遇到也不需要，等到后期发现各种rtmp、http、m3u8这种视频流的时候，问题大了去了，他是hls格式的视频流文件一次性过来的，一个个小视频文件过来的，如果没有同步的话，意味着突然之间刷刷刷的图片过去很多，下一次来的又是刷刷的，这就需要自己计算同步了，上次接收到的数据包放入队列，到了需要显示的时候就显示。

常用的音视频同步方法：

1. 通过fps来控制，fps表示一秒钟播放多少帧，比如25帧，可以自行计算一帧解码用掉的时间，一帧占用（1000/25=40毫秒），通过延时来处理，这其实是最渣渣的办法。
2. 记住开始解码的时间startTime，通过av_rescale_q计算pts时间，两者的差值就是需要延时的时间，调用av_usleep来延时，这种只有部分文件正常，很多时候不正常。
3. 音频同步到视频，视频时钟作为主时钟，没试过，网上很多人说这个办法不好。
4. 视频同步到音频，音频时钟作为主时钟，没试过，据说大部分人采用的此办法。