【原理】变分自编码器

变分自编码器(VAE)是一种隐变量模型,它假设数据由不可观察的潜在变量生成。VAE利用多层神经网络逼近高斯分布的隐变量,并通过重参数化技巧进行优化。与传统的高斯混合模型(GMM)不同,VAE处理的是连续、高维的随机变量。训练好的VAE可以用于生成样本。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

VAE是一种隐变量模型

隐变量模型

 广义上的隐变量主要就是指“不能被直接观察到,但是对系统的状态和能观察到的输出存在影响的一种东西”。
 隐变量(latent variable)代表了隐因子(latent factor)的组合关系。

已知: 数据集 D X D_X DX,其中每个点都属于空间 X S X_S XS。隐变量 Z ∈ Z S Z∈Z_S ZZS
假设: 有两个变量, z ∈ Z S z∈Z_S zZS x ∈ X S x∈X_S xXS。存在一个确定性函数族 f ( z ; θ ) f(z;θ) f(z;θ),族中的每个函数由 θ ∈ Θ \theta\in\Theta θΘ唯一确定, f : Z S × Θ → X S f:Z_S×Θ→X_S f:ZS×ΘXS。当 θ θ θ固定、 z z z是一个概率密度函数为 P z ( z ) P_z(z) Pz(z)的随机变量时, f ( z ; θ ) f(z;θ) f(z;θ)就是定义在 X S X_S XS上的随机变量 x x x,对应的概率密度函数可以写成 g ( x ) g(x) g(x)
目标: 优化 θ θ θ,从而寻找到一个 f f f,它是随机变量 x x x的采样、和 X X X非常的像。
注意:
(1) x x x是一个变量, D X D_X DX是已知的数据集, x ∉ D X x\notin D_X x/DX
(2) f f f把隐变量 z z z映射成 x x x变量,而 x x x变量就是与数据集 D X D_X DX具有直接关系的随机变量,这个直接关系可以表示成 P x ( D X ∣ x ) P_x(D_X|x) Px(DXx)。则数据集为 D X D_X DX存在的概率 P t ( D X ) = ∫ P x ( D X ∣ x ) g ( x ) d x P_t(D_X)=∫P_x(D_X|x)g(x)dx Pt(DX)=Px(DXx)g(x)dx

根据贝叶斯公式:
( 1 )   P t ( D X ) = ∫ P x z ( D X ∣ z ; θ ) P z ( z ) d z (1)~P_t(D_X)=∫P_{xz}(D_X|z;θ)P_z(z)dz (1) P

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值