原文链接：https://arxiv.org/abs/2402.05608
1. 引言
主干网络是扩散模型发展的关键方面，其中基于CNN的U-Net（下采样-跳跃连接-上采样）和基于Transformer的结构（使用自注意力替换采样块）是代表性的例子。
状态空间模型（SSM）在长序列建模方面有极大潜力。本文受Mamba启发，建立基于SSM的扩散模型，称为DiS。DiS将所有输入（时间、条件和有噪声的图像patch）视为离散token。DiS中的状态空间模型使其比CNN和Transformer有更优的放缩性，且有更低的计算开销。
2. 方法
2.1 准备知识
扩散模型：扩散模型逐步向数据加入噪声，然后将此过程反过来从噪声生成数据。噪声的加入过程称为前向过程，可表达为马尔科夫链。逆过程中，使用高斯模型近似真实逆转移，其中学习相当于对噪声的预测（即使用噪声预测网络，来最小化噪声预测目标）。
条件扩散模型会将条件（如类别、文本等，通常形式为索引或连续嵌入）引入噪声预测目标中。
具体公式见扩散模型（Diffusion Model）简介 - CSDN。
状态空间主干：状态空间模型的传统定义是将 x ( t ) ∈ R N x(t)\in\mathbb R^N x(t)∈RN通过隐状态 h ( t ) ∈ R N h(t)\in\mathbb R^N h(t)∈RN映射为 y ( t ) ∈ R N y(t)\in\mathbb R^N y(t)∈RN的线性时不变系统：
h ′ ( t ) = A h ( t ) + B x ( t ) y ( t ) = C h ( t ) h'(t)=Ah(t)+Bx(t)\\y(t)=Ch(t) h′(t)=Ah(t)+Bx(t)y(t)=Ch(t)
其中 A ∈ R N × N A\in\mathbb R^{N\times N} A∈RN×N为状态矩阵， B , C ∈ R N B,C\in\mathbb R^N B,C∈RN为输入和输出矩阵。真实世界的数据通常为离散形式，可将上式离散化为
h t = A ˉ h t − 1 + B ˉ x t y t = C h t h_t=\bar Ah_{t-1}+\bar Bx_t\\y_t=Ch_t ht=Aˉht−1</
最低0.47元/天 解锁文章
扫一扫
2699
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
