条件VAE(CVAE)：控制生成结果

### 变分自编码器（VAE）的理论基础 变分自编码器是一种基于概率图模型的生成模型，旨在通过最大化数据似然来进行无监督学习。具体来说，给定观测变量 \( \mathbf{x} \)，目标是最小化重构误差并保持隐含表示的概率分布尽可能接近先验分布。 为了实现这一点，引入了一个近似后验分布 \( q_{\phi}(z|x) \)，用于估计真实的后验分布 \( p(z|x) \)[^1]。训练过程中优化的是证据下界 (ELBO): \[ ELBO(\theta,\phi)=\mathbb{E}_{q_\phi}\left[\log p_\theta(x|z)-D_{KL}[q_\phi(z|x)||p_\theta(z)]\right]\] 其中： - \( D_{KL} \) 表示 Kullback-Leibler 散度； - \( p_\theta(x|z) \) 是解码器部分建模的数据生成过程； - \( p_\theta(z) \) 通常是标准正态分布作为简单先验； ### 条件变分自编码器(CVAE) 条件变分自编码器扩展了传统 VAE，在编码和解码阶段都考虑到了额外的信息 y 。这意味着不仅输入特征会影响最终的结果，而且附加标签也会指导整个重建流程。因此，CVAE 的 ELBO 形式变为: \[ ELBO_c(\theta,\phi)=\mathbb{E}_{q_\phi}\left[\log p_\theta(x,y|z)-D_{KL}[q_\phi(z|x,y)||p_\theta(z)]\right]\] 这里增加了对联合分布 \( p_\theta(x, y | z) \) 的依赖关系[^2]。 ### 实现细节 #### 定义模型结构 下面展示如何利用 TensorFlow/Keras 构造一个简单的 VAE 和 CVAE 模型框架。 ```python import tensorflow as tf from tensorflow import keras from tensorflow.keras.layers import Input, Dense, Lambda from tensorflow.keras.models import Model import numpy as np class Sampling(keras.layers.Layer): """重参数采样层""" def call(self, inputs): mean, log_var = inputs batch_size = tf.shape(mean)[0] dim = tf.shape(mean)[1] epsilon = tf.random.normal(shape=(batch_size, dim)) return mean + tf.exp(log_var * .5) * epsilon def build_vae(input_dim=784, latent_dim=2): # 编码路径 encoder_inputs = Input(shape=(input_dim,)) x = Dense(128, activation='relu')(encoder_inputs) z_mean = Dense(latent_dim)(x) z_log_var = Dense(latent_dim)(x) z = Sampling()([z_mean, z_log_var]) # 解码路径 decoder_input = Input(shape=(latent_dim,), name="decoder_input") decoded_x = Dense(128, activation='relu')(decoder_input) output_layer = Dense(input_dim, activation='sigmoid') reconstructed_outputs = output_layer(decoded_x) # 组合编解码器成完整的 VAE 模型 vae_encoder = Model(encoder_inputs, [z_mean, z_log_var], name="vae_encoder") vae_decoder = Model(decoder_input, reconstructed_outputs, name="vae_decoder") outputs = vae_decoder(z) vae_model = Model(encoder_inputs, outputs, name="vae") reconstruction_loss = keras.losses.binary_crossentropy( encoder_inputs, outputs ) kl_loss = -0.5 * tf.reduce_sum( 1 + z_log_var - tf.square(z_mean) - tf.exp(z_log_var), axis=-1 ) total_loss = tf.reduce_mean(reconstruction_loss + kl_loss) vae_model.add_loss(total_loss) vae_model.compile(optimizer='adam') return vae_model, vae_encoder, vae_decoder def build_cvae(label_dim=10, **kwargs): input_dim = kwargs.get('input_dim', 784) latent_dim = kwargs.get('latent_dim', 2) label_input = Input(shape=(label_dim,), dtype=tf.float32, name="labels") image_input = Input(shape=(input_dim,), name="images") combined_input = keras.layers.Concatenate(axis=-1)( [image_input, label_input]) # 使用相同的架构构建带有条件信息的 VAE cvae_encoder = build_vae(**kwargs)[1](combined_input) sampled_z = Sampling()(cvae_encoder.output) conditional_latents = keras.layers.Concatenate(axis=-1)( [sampled_z, label_input]) reconstructions = build_vae(**kwargs)[-1](conditional_latents) cvae_model = Model(inputs=[image_input, label_input], outputs=reconstructions, name="cvaemodel") # 计算损失... reconstruction_loss = keras.losses.binary_crossentropy(image_input, reconstructions) kl_loss = -0.5 * \ tf.reduce_sum(1 + cvae_encoder.output[1] - tf.square(cvae_encoder.output[0]) - tf.exp(cvae_encoder.output[1]), axis=-1) total_loss = tf.reduce_mean(reconstruction_loss + kl_loss) cvae_model.add_loss(total_loss) cvae_model.compile(optimizer='adam') return cvae_model ```