VAE是一种隐变量模型
隐变量模型
广义上的隐变量主要就是指“不能被直接观察到,但是对系统的状态和能观察到的输出存在影响的一种东西”。
隐变量(latent variable)代表了隐因子(latent factor)的组合关系。
已知: 数据集 D X D_X DX,其中每个点都属于空间 X S X_S XS。隐变量 Z ∈ Z S Z∈Z_S Z∈ZS。
假设: 有两个变量, z ∈ Z S z∈Z_S z∈ZS和 x ∈ X S x∈X_S x∈XS。存在一个确定性函数族 f ( z ; θ ) f(z;θ) f(z;θ),族中的每个函数由 θ ∈ Θ \theta\in\Theta θ∈Θ唯一确定, f : Z S × Θ → X S f:Z_S×Θ→X_S f:ZS×Θ→XS。当 θ θ θ固定、 z z z是一个概率密度函数为 P z ( z ) P_z(z) Pz(z)的随机变量时, f ( z ; θ ) f(z;θ) f(z;θ)就是定义在 X S X_S XS上的随机变量 x x x,对应的概率密度函数可以写成 g ( x ) g(x) g(x)。
目标: 优化 θ θ θ,从而寻找到一个 f f f,它是随机变量 x x x的采样、和 X X X非常的像。
注意:
(1) x x x是一个变量, D X D_X DX是已知的数据集, x ∉ D X x\notin D_X x∈/DX。
(2) f f f把隐变量 z z z映射成 x x x变量,而 x x x变量就是与数据集 D X D_X DX具有直接关系的随机变量,这个直接关系可以表示成 P x ( D X ∣ x ) P_x(D_X|x) Px(DX∣x)。则数据集为 D X D_X DX存在的概率 P t ( D X ) = ∫ P x ( D X ∣ x ) g ( x ) d x P_t(D_X)=∫P_x(D_X|x)g(x)dx Pt(DX)=∫Px(DX∣x)g(x)dx。
根据贝叶斯公式:
( 1 ) P t ( D X ) = ∫ P x z ( D X ∣ z ; θ ) P z ( z ) d z (1)~P_t(D_X)=∫P_{xz}(D_X|z;θ)P_z(z)dz (1) P