Unet已死，Transformer当立！详细解读基于DiT的开源视频生成大模型EasyAnimate

已于 2024-06-24 10:26:59 修改
阅读量2k 收藏 19
点赞数 62
CC 4.0 BY-SA版权
分类专栏： Diffusion Models与深度学习 文章标签： transformer 深度学习 人工智能 扩散模型 AIGC
于 2024-06-21 10:57:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/139827865

Diffusion Models视频生成-博客汇总

前言：最近阿里云PIA团队开源了基于Diffusion Transformer结构的视频生成模型EasyAnimate，并且提出了专门针对视频的slice VAE，对于目前基于Unet结构的视频生成最好如SVD形成了降维打击，不论是生成质量、生成时长上都是遥遥领先。这篇博客详细解读一下EasyAnimate的技术报告《EasyAnimate: A High-Performance Long Video Generation Method based on Transformer Architecture》

目录

贡献概述

模型结构

Video VAE

Video DiT结构

三阶段训练

DiT训练

数据集清洗策略

视频分割

视频过滤

视频字幕

效果试用

个人感悟

贡献概述

EasyAnimate是一种用于视频生成的高级方法，它利用 Transf

了解本专栏 订阅专栏 解锁全文 超级会员免费看
视频生成/视频理解【文章汇总】SVD, Sora, Latte, VideoCrafter12, DiT...
zik的博客
07-24 1554
Video generation has witnessed significant advancements, yet evaluating these models remains a challenge. A comprehensive evaluation benchmark for video generation is indispensable for two reasons: 1) Existing metrics do not fully align with human percepti
源码剖析：详细解读基于DiT结构的视频生成模型EasyAnimate
沉迷单车的追风少年
07-21 586
Sora发布半年之后，开源社区也有很多有影响力的工作如Open-Sora、EasyAnimate、Open-Sora-Plan等，这些都复现了Sora里面的经典思想。这篇博客以《EasyAnimate: A High-Performance Long Video Generation Method based on Transformer Architecture》为例，详细解读EasyAnimate的代码，希望对follow Sora的读者有所帮助。
（2024，扩展Transformer和数据，SDXL，SD2，DiT与 UNet）基于扩散的文本到图像生成的可扩展性
qq_44681809的博客
04-19 2267
​本文对去噪骨干和训练集进行消融实验，发现增加 Transformer 块对于改善文本-图像对齐比增加通道数量更具高效。在数据扩展方面，训练集的质量和多样性比数据集大小更重要。增加标题密度和多样性可提高文本-图像对齐和学习效率
音视频开发之旅(104) -DiT原理与源码分析
yabin的专栏
11-19 1334
随着问生图和问生视频的进一步发展, 新的项目不断推出, 比如: SD3 Flux和Sora等, 而它们都是采用DiT(Diffusion Transformer)架构,那么DiT相比潜扩散模型(LDM)的UNet有什么优势?架构简化: UNet采用Encoder-Decoder结构,通过下采样和上采样在多个分辨率进行计算处理,通过跳跃连接传递特征,而DiT采用纯Transformer替代了DiT,可以在单一分辨率上进行特征处理.
DiT：Scalable Diffusion Models with Transformers
Je1zvz的博客
03-08 1406
该论文发表之前，市面上几乎都是用卷积网络作为实际意义上的（de-facto）backbone。于是一个想法就来了：为啥不用transformer作为backbone呢？文章说本论文的意义就在于揭示模型选择对于扩散模型的重要性，并为生成模型研究提供一个可借鉴的基准（baseline）。本文还揭示出卷积网络的inductive bias对生成性能并没有多大的影响，所以可以使用transformer网络去替代卷积网络。文章使用Gflops和FID去分别评估模型复杂度和生成图像质量。
一文带你搞懂DiT（Diffusion Transformer）
2401_84033492的博客
05-25 3万+
扩散模型的核心思想：Diffusion Models是一种受到非平衡热力学启发的生成模型，其核心思想是通过模拟扩散过程来逐步添加噪声到数据中，并随后学习反转这个过程以从噪声中构建出所需的数据样本。
视频生成框架EasyAnimate正式开源！
科技很有意思
06-04 2348
近期，Sora模型的热度持续上涨，社区中涌现了一些类Sora的开源项目，这些项目均基于Diffusion Transformer结构，，旨在生成更长、更高分辨率、且效果更好的视频。EasyAnimate是阿里云人工智能平台PAI自主研发的DiT-based视频生成框架，它提供了。在预训练模型的基础上，EasyAnimate可通过少量图片的LoRA微调来改变生成视频的风格，相比已有方案具有更好的扩展性和完整性。
阿里巴巴重磅开源EasyAnimate！基于DiT的长视频制作生态系统
AIGCer的博客
06-18 1238
人工智能在文本、图像和声音的创意内容生成方面已经决定性地扩展了其应用范围。在视觉领域，扩散模型被广泛用于图像生成和修改。开源项目如Stable Diffusion在文本转图像方面取得了显著进展。然而，在视频生成方面，当前模型仍面临一些挑战，如质量欠佳、视频长度有限以及运动不自然，这表明该技术还有很大的进步空间。一些开创性的研究在利用Stable Diffusion方法进行视频合成方面取得了进展，重点是用于去噪过程的UNet架构。最近，Sora 展现了非凡的视频生成能力，能够生成长达一分钟的高保真视频。
视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等
热门推荐
结构之法 算法之道
02-18 6万+
真没想到，举例视频生成上一轮的集中爆发才过去三个月，没想OpenAI一出手，该领域又直接变天了自打2.16日OpenAI发布sora以来，不但把同时段Google发布的Gemmi Pro 1.5干没了声音，而且网上各个渠道，大量新闻媒体、自媒体(含公号、微博、博客、视频)做了大量的解读，也引发了圈内外的大量关注，很多人因此认为，视频生成领域自此进入了大规模应用前夕，好比NLP领域中GPT3的发布一开始，我还自以为视频生成这玩意对于有场景的人，是重大利好，比如在影视行业的；
Open-Sora代码详细解读(1)：解读DiT结构
沉迷单车的追风少年
09-07 1617
目前开源的DiT视频生成模型不是很多，Open-Sora是开发者生态最好的一个，涵盖了DiT、时空DiT、3D VAE、Rectified Flow、因果卷积等Diffusion视频生成的经典知识点。本篇博客从Open-Sora的代码出发，深入解读背后的原理。
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 4810
Diffusion Models视频生成-博客汇总
AI 辅助逆向抄数：点云优化工具与深度学习建模能力在消费电子领域的应用
SYNCON_SEMI的博客
08-22 537
摘要：AI技术正革新消费电子逆向抄数，突破传统方法在数据处理、建模精度和迭代速度上的局限。智能点云优化工具可提升70%处理效率，深度学习建模使精度达95%以上，某智能手表案例显示研发周期缩短40%。新启航半导体推出微米级三维扫描方案，具备反光表面扫描、六轴自动扫描等五大优势，测量精度达±0.02mm，扫描速度80万次/秒，为智能制造提供全周期技术支持。（150字）
yolo_RK3588系列（三）
TracyWdz的博客
08-20 1104
本文介绍了将YOLOv5模型部署到RK3588芯片的完整流程。首先需将.pt权重文件转换为.onnx格式，再通过RKNN工具包转为.rknn格式。在板端部署时，需检查NPU驱动版本和环境配置，并确保模型输出维度与推理代码匹配。最后运行demo程序进行图片或视频流推理，通过调整NMS阈值和置信度阈值优化检测效果。整个过程涉及格式转换、环境验证和参数调整等关键步骤，最终实现模型在嵌入式设备上的高效运行。
动手学深度学习（pytorch版）：第五章节—深度学习计算（2）参数管理
weixin_70217160的博客
08-21 732
本文介绍了深度学习模型训练中的参数访问、初始化和共享方法。主要内容包括：1）通过索引和named_parameters()访问网络各层参数；2）使用内置初始化器（如正态分布、常数、Xavier）和自定义初始化方法设置参数；3）实现参数绑定，使不同层共享同一参数张量。文中通过PyTorch示例展示了如何操作参数对象，提取数值和梯度，以及在不同层级进行差异化初始化。这些技术对模型调试、优化和复用具有重要意义。
深度学习介绍
最新发布
weixin_72931638的博客
08-22 687
经典机器学习（如随机森林、逻辑回归）适用于结构化数据分类，但图像分类效果差（高维数据导致性能下降）。深度学习优势：神经网络模拟人脑神经元连接，适合处理复杂数据（如图像）。辛顿（Hinton）提出神经网络与深度学习，推动AI发展并获得诺贝尔奖。技术演进：经典机器学习→深度学习（2013年后主流）→大模型（当前前沿，多模态发展中）。神经网络的核心是通过矩阵运算求解权重参数（ω），以拟合输入特征（X）与输出目标（Y）之间的关系。
数据清洗（Data Cleansing）——机器学习深度学习所需数据的清洗实战案例 （结构清晰、万字解析、完整代码）包括机器学习方法预测缺失值的实践
2302_78022640的博客
08-19 1023
加载你自己写的缺失值处理工具模块。核心思想：所有负责“基于训练集拟合并填充训练集”；与之配套的负责“用训练阶段学到的统计量/模型去填充测试集”。这样可以避免把测试集信息泄露到训练阶段。train_fill：基于训练集“学规则 + 填训练集”。test_fill：沿用训练集规则，填充测试集。简单剔除：CCA（删除有缺失的行）。统计填充：均值 / 中位数 / 众数。机器学习预测填充：线性回归（线性假设） / 随机森林（非线性、鲁棒）。这样设计的好处：不同方法可以随时替换，实验对比。
大模型落地全攻略：从技术实现到场景应用
zzywxc787的博客
08-22 586
本文系统阐述了大语言模型（LLM）落地的四大核心方向：1）微调技术（LoRA等参数高效方法），通过领域适配提升专业性；2）提示词工程（CLEAR原则），低成本释放模型潜力；3）多模态应用（图文/视频分析），拓展数据类型边界；4）企业级方案（分层架构），解决安全、性能和扩展性问题。文章包含代码示例、流程图解和行业案例，强调从业务需求出发选择技术路径，实现从实验室验证到产业落地的完整闭环。随着技术成熟，大模型正从辅助工具演变为企业智能化基础设施。
22_基于深度学习的桃子成熟度检测系统（yolo11、yolov8、yolov5+UI界面+Python项目源码+模型+标注好的数据集）
you 是 mine
08-19 1031
本项目基于PyQt5构建了简洁易用的图形用户界面，支持用户选择本地图片或视频进行目标检测。系统界面美观，交互流畅，具备良好的用户体验。项目附带完整的 Python 源码和详细的使用说明，适合学生进行学习或有一定 Python 基础的开发者，参考与二次开发。您可以在文末获取完整的代码资源文件。✨ 项目亮点🔧包括pyqt5界面、后台检测逻辑、模型加载等模块🧠源代码，支持个人添加改进、模型修改等🚀结构清晰，逻辑完整，便于演示使用数据集一部分个人标注，一部分来源网络，已统一标注格式并完成预处理，
PyTorch 常用方法总结
weixin_71945758的博客
08-22 487
【代码】PyTorch 常用方法总结。
基于transformer unet设计模型？
03-09
基于transformer unet设计模型是一种结合了transformer和unet的深度学习模型，可以用于图像分割任务。它利用transformer的自注意力机制来提取图像中的全局特征，同时利用unet的编码器-解码器结构来进行局部特征提取...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值