1. 背景介绍
1.1. 自编码器与生成模型
自编码器(Autoencoder,AE)是一种无监督学习模型,其主要目标是学习数据的压缩表示。它由编码器和解码器两部分组成,编码器将输入数据映射到低维 latent space,解码器则将 latent space 的表示映射回原始数据空间。
生成模型的目标是学习数据的真实分布,从而生成新的数据样本。与判别模型不同,生成模型并不关注数据的类别标签,而是关注数据的潜在结构和特征。
1.2. 变分自编码器的优势
传统的自编码器存在一些局限性,例如:
- latent space 的分布不确定,难以用于生成新的数据样本。
- 容易过拟合,导致生成的样本缺乏多样性。
变分自编码器(Variational Autoencoder,VAE)通过引入变分推断,克服了传统自编码器的局限性。VAE 假设 latent space 服从特定的概率分布(通常是高斯分布),并通过优化目标函数,使得编码器能够将数据映射到该分布中。
2. 核心概念与联系
2.1. latent space
latent space 是指编码器将输入数据映射到的低维空间。VAE 假设 latent space 服从特定的概率分布,例如高斯分布。
2.2. 变分推断
变分推断是一种近似推断方法,用于估计难以直接计算的概率