51-48 CVPR 2024 | Vlogger: make your dream a vlog 自编剧制作视频博客

24年1月，上海交大、上海人工智能实验室、中科院联合发布Vlogger：make your dream a vlog。该论文主要工作是生成超过5分钟的视频博客vlog。鉴于现有文本到视频T2V生成方法很难处理复杂的故事情节和多样化的场景，本文提出了一个名为Vlogger的通用AI系统，将长视频生成任务优雅地分解为四个阶段，包括 (1) 剧本Script，(2) 演员Actor, (3)制作人ShowMaker 和 (4) 配音员Voicer。此外，论文还提出了一种名为ShowMaker的视频扩散模型，以提高T2V生成和预测的性能。最终的实验结果表明，该方法在零样本T2V生成和预测任务中取得了最先进的性能。

总体说来，Vlogger有四大特色：

• 提出了一个新颖的Video Diffusion视频生成扩散模型—ShowMaker，以生成每个场景的视频片段。该模型采用了一种独特的时空增强块STEB，能够自适应地利用场景描述和演员图像作为文本和视觉提示，以增强剧本和演员的时空一致性。
• 开发了一种概率模式选择机制，通过混合训练T2V生成和预测，增强了ShowMaker的能力。在推理阶段，通过将生成和预测模式进行序列组合，ShowMaker能够生成具有可控持续时间的视频片段，从而使Vlogger可以根据LLM导演的剧规划划生成具有理想持续时间的视频博客vlog。