【阅读笔记】Improved Training of Wasserstein GANs

最新推荐文章于 2024-11-21 10:58:00 发布

SrdLaplaceGua

最新推荐文章于 2024-11-21 10:58:00 发布

阅读量5.3k

点赞数 6

CC 4.0 BY-SA版权

分类专栏：机器学习读书笔记文章标签： GAN 生成对抗网络 deep learning 深度学习代码

本文链接：https://blog.csdn.net/SrdLaplace/article/details/87922035

本文介绍了针对Wasserstein GANs训练不稳定的问题，提出了一种新的优化策略——梯度惩罚。通过避免权重约束，而是通过惩罚梯度范数来维持判别器的Lipschitz连续性，从而改进了WGAN的训练过程。实验表明这种方法在实践中表现优于标准WGAN和其他GAN变种。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Improved Training of Wasserstein GANs

Gulrajani I, Ahmed F, Arjovsky M, et al. Improved training of wasserstein gans[C]//Advances in Neural Information Processing Systems. 2017: 5767-5777.
GitHub: https://github.com/igul222/improved_wgan_training

Abstract

GAN虽然是个强有力的生成模型，但是训练不稳定的缺点影响它的使用。刚刚提出的 Wasserstein GAN (WGAN) 使得 GAN 的训练变得稳定，但是有时也会产生很差的样本和不收敛。我们发现这些问题的原因常常是因为 weight clipping 来满足判别器（critic，os.坑，研究了半天才领会这个意思）的 Lipschitz constraint。我们把 weight clipping 转化为成判别器的梯度范数关于输入的惩罚。我们的方法优于 standard WGAN 和大部分的 GAN 的变种。

Introduction

Generative adversarial networks

Formally, the game between the generator G and the discriminator D is the minimax objective:
$min_Gmax_DE_{x\sim p_r}[logD(x)]+E_{\hat{x}\sim p_g}[log(1-D(\hat{x}))]$

In practice, the generator is instead trained to maximize $E_{\hat{x}\sim p_g}[log(D(\hat{x}))]$ 。因为这样可以规避当判别器饱和时的梯度消失。

Wasserstein GANs

The WGAN value function is constructed using the Kantorovich-Rubinstein duality to obtain
$min_Gmax_{D\in\mathscr{D}}E_{x\sim p_r}[D(x)]-E_{\hat{x}\sim p_g}[D(\hat{x})]$