GAN网络的模型坍塌和不稳定的分析

最新推荐文章于 2025-06-04 17:30:00 发布
最新推荐文章于 2025-06-04 17:30:00 发布
阅读量7.9k 收藏 23
点赞数 8
CC 4.0 BY-SA版权
分类专栏： GAN 文章标签： 深度学习 GAN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xinxiang7/article/details/107182825
本文深入探讨了生成对抗网络(GAN)的两大难题：模式坍塌和训练不稳定，解析了其背后的数学原理，包括KL和JS散度的作用，以及Wasserstein GAN如何解决梯度消失问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

众所周知，GAN异常强大，同时也非常难以训练。主要有以下亮点原因：

  • 模型坍塌(mode collapse)
  • 难以收敛和训练不稳定(convergence and instability)
    GAN网络的一般表达式可以表示为：
    利用minmax获得公式1
    原始公式
    给定G，求D的最优化2
    损失函数
    针对D进行求导：
    gan3
    获取最优解：
    gan4
    最优解结果：
    D最优解
    原有公式
    KL和JS散度表达式：
    KL和JS散度表达式
    GAN表达式：
    在这里插入图片描述
    增加一项，表示生成网络G的损失函数：
    G
    简化：
    简化
    结合公式(6)和公式(8)可以得出：
    生成模型的结果
    公式(12)中的KL散度使得两个分布尽可能的小，而JS的负号使得两个分布近可能的大。
    两种情况：
    在这里插入图片描述
    第一种情况，生成了不真实的样本，惩罚很大；第二种情况，未能产生真实的样本，惩罚很小。第一种生成的样本不准确，第二种生成的样本不够多样。基于这个原理，G 倾向于生成重复但是安全的样本，而不愿意冒险生成不同但不安全的样本，这会导致模式坍塌（mode collapse）问题。
    当然很有可能出现两个分布不相关的情况3，这种情况就会导致称为一个常数，也就出现了梯度消失的情况。 所以判别器训练得太好，生成器梯度消失，生成器loss降不下去；判别器训练得不好，生成器梯度不准，四处乱跑。只有判别器训练得不好不坏才行，但是这个火候又很难把握。
    对于另外一种G网络的表现形式，可以总结为：D表现越好，G的梯度消失越严重。

  1. Generative Adversarial Networks (GANs): Challenges, Solutions, and Future Directions ↩︎

  2. A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications ↩︎

  3. 令人拍案叫绝的Wasserstein GAN/https://zhuanlan.zhihu.com/p/25071913 ↩︎

如何获取正负样本？下游任务的具体执行阶段？您知道什么是模型坍塌吗？如何进行对比学习？使用Python。
ByteLegend的博客
09-11 312
首先，我们使用预训练的ResNet50模型作为基础模型，然后添加一个投影头网络来学习数据的表示。对比学习的目标是通过最大化正样本对的相似度，并最小化负样本对的相似度来学习有意义的表示。弱监督学习：在某些情况下，正负样本的获取可能是困难或昂贵的。多样性惩罚（Diversity Penalty）：通过在生成模型的损失函数中引入多样性惩罚项，鼓励模型生成多样性的输出。请注意，这只是一个简单的示例，实际应用中可能需要根据具体任务和数据集进行更复杂的模型设计和参数调整。数据准备：根据下游任务的需求，准备输入数据。
GAN网络详解及代码复现
hasakie的博客
12-16 199
生成对抗网络(Generative Adversarial Networks, GAN)是由Ian Goodfellow等人于2014年提出的开创性深度学习模型。GAN的独特之处在于其，通过两个神经网络的相互竞争来生成高质量的新数据。：负责从随机噪声中创造出与真实数据相似的样本。生成器的目标是“欺骗”判别器，使其无法区分生成的数据和真实数据。：负责区分真实数据与生成器生成的伪造数据。判别器通过提高自身判别能力来减少被生成器欺骗的可能性。
GAN训练中的挑战和常见问题有哪些，如模式崩溃和模式坍塌等？
huidhsu的博客
07-11 4829
生成对抗网络（GAN）是一种强大的深度学习模型，用于生成逼真的数据样本。然而，GAN的训练过程中面临一些挑战和常见问题，其中包括模式崩溃和模式坍塌。本文将介绍这些问题以及可能的解决方法。GAN训练中的挑战和常见问题有哪些？
有关于解决GAN中模型崩塌的一点方法
机器学习
05-29 6675
GAN好是好，但是这个模型崩塌我是真的头大，好好的一个模型跑着跑着就变全噪声了。 最近在论文的阅读当中，发现了一篇文章《Progressive growth of glycine to improve quality, stability, and variability》是有关于如何改善辨别器中对于生成器的生成的一些无用信息的剔除。同时可以提高生成图像的分辨率以及增强图片中的纹理和细节。 一、摘...
GAN模式崩塌难题：成因分析与多维度解决方案
最新发布
2501_90186640的博客
06-04 840
本文聚焦 生成对抗网络（GAN） 的核心缺陷——模式崩塌（Mode Collapsing） 与 模式丢弃（Mode Dropping）。通过直观案例解析两种模式缺陷的表现形式，再基于数学推导揭示优化过程导致崩塌的本质原因，最后结合前沿方法，从 目标函数改进、网络结构设计 及 小批量判别 等维度，系统阐述缓解 模式崩塌 的解决方案。本文结合理论分析与模型架构图，为GAN训练调优提供实践指导。
GAN训练中遇到的mode collapse（模式崩塌）
weixin_41709956的博客
11-04 1万+
1.梯度/loss爆炸（NaN，Inf） 这两天一直在训练自己的GAN模型，训练过程中鉴别器极其不稳定，训练的几个epoch之后经常出现NAN，在加入WGAN中的梯度惩罚和鉴别器的参数裁剪之后，模型似乎变得可以训练了。 解决方案： 1.使用WGAN中的loss代替原始GAN中的损失函数，去掉原始GAN损失函数中的log 2.适当地进行梯度惩罚 3.使用hinge loss 2.mode collapse 在模型变得可以训练之后，生成器和鉴别器的loss如图所示： ...
[GAN学习笔记] 基础GAN（三）——WGAN
m0_55905751的博客
03-05 1618
什么是“模型坍塌“及如何解决“LLM模型坍塌“?
AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。
02-28 114
模型坍塌（Model Collapse）是深度学习和生成模型中常见的现象，指模型在训练过程中逐渐失去多样性和泛化能力，导致性能严重退化甚至无法继续优化。Bender等人（2021）强调，仅在合成数据上训练的模型可能会进入一个退化循环，生成缺乏新颖性和原创性的输出。这是因为这些模型越来越依赖自身的输出或类似系统的输出，导致对语言的理解趋于同质化且不够稳健。性能退化:训练过程中，模型的准确率下降、损失函数发散或过拟合。生成模型（如GAN）中，生成器可能仅输出单一或重复的结果（如所有样本趋同于某个模式)。
GAN：ImprovedGAN-训练GAN的改进策略
微风❤水墨
11-28 1018
具体来说，生成网络产生的图片经过判别网络后的中间层的feature 和真实图片经过判别网络的feature尽可能相同。首先从训练集中拿出一个batch在训练开始前固定起来，算出这个特定batch的均值和方差，进行更新训练中的其他batch。这是因为辨别器在辨别的时候是对单个样本进行辨别（对每个输入均给出一个0-1的分数），没有考虑样本之间的关系，所以容易造成模式坍塌。但是BN有个缺点，即BN会时G网络生成一个batch的图片中，每张图片都有相关联（如，一个batch中的图片都有比较多的绿色）。
【2025算法面试通关】【二.机器学习-无监督学习】【15. 对抗生成网络（GAN）的纳什均衡分析和自监督学习中对比学习方法的面试题及答案】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
04-09 275
生成器生成逼真样本，判别器区分真假样本，最终达到纳什均衡，即D无法区分真假，G生成样本分布与真实数据一致。：InfoNCE（Noise-Contrastive Estimation）最大化正样本对的相似度，最小化负样本对的相似度。：通过最大化正样本对（同一数据的不同视图）的相似度，最小化负样本对（不同数据的视图）的相似度，学习数据的判别性表示。：将编码器输出的特征映射到对比学习空间，通过非线性变换提升特征的可区分性，避免特征空间过于平滑。：对比学习通过最大化正样本对的互信息，学习数据的高维表示。
解决GANs训练中模式崩塌/训练崩溃的十五个方法
沉迷单车的追风少年
07-30 3102
GAN和强化学习一样，不以loss收敛作为训练质量的指标，因此都存在训练难的问题。其中GANs在训练时经常会出现模式崩塌/训练崩溃的问题，这篇博客总结了十五个解决模式崩塌/训练崩溃的方法，建议收藏！......
从注意力到坍缩：Transformer模型的深层秘密
步子哥的博客
12-07 125
Transformer模型的成功离不开注意力机制的创新，但注意力坍缩现象提醒我们，模型的规模化并非万能的解决方案。通过深入理解Transformer的数学本质，我们不仅可以更好地优化现有模型，还能为未来的模型设计提供新的思路。在未来，随着研究的深入，我们有望解决注意力坍缩问题，使Transformer模型在生成任务中表现得更加多样化和稳定。毕竟，只有真正理解了模型的内在机制，我们才能让人工智能更好地服务于人类。
RFT训练导致模型坍塌的文献分析
AI天才研究院
12-19 611
1.1.1 问题背景 随着深度学习技术的飞速发展，模型规模不断增大，但随之而来的是训练过程的复杂性和不稳定性。在训练过程中，模型可能会出现严重退化，甚至无法继续训练，这种现象被称为模型坍塌。模型坍塌不仅影响模型的性能，还会导致项目进度延误，资源浪费。 模型坍塌现象：在训练过程中，模型的表现逐渐下降，
深度学习十大算法之生成对抗网络（GAN）
第欧根尼的酒桶的博客
03-22 2913
生成器的任务是创建足以欺骗判别器的数据，而判别器的任务则是区分生成器产生的假数据和真实数据。GAN的应用范围非常广泛，从最初的图像生成到后来的艺术创作、游戏开发、甚至是药物发现等，GAN都表现出了其独特的价值和广阔的应用前景。总的来说，生成对抗网络（GAN）作为深度学习领域的一个重要里程碑，不仅展示了机器学习技术的新境界，也为人工智能的未来发展开辟了新的方向。条件GAN（cGAN）在原始GAN的基础上引入了额外的条件信息，如标签或数据，使生成的结果不仅依赖于输入的噪声，还受到这些条件的影响。
GAN 的Mode collapse(模式坍塌)
热门推荐
10-24 1万+
mode collapse是指Gan产生的样本单一，其认为满足某一分布的结果为true，其他为False，导致以上结果。 Example 先给一个直观的例子，这个是在我们训练GAN的时候经常出现的 这就是所谓的Mode Collapse 但是实际中ModeCollapse不能像这个一样这么容易被发现(sample中出现完全一模一样的图片) 例如训练集有很多种类别(如猫狗牛羊)，但是我...
gan中模式崩塌
初学者的博客
03-27 8807
What is mode collapse? Most interesting real-world data distributions are highly complex and multimodal. That is to say, the probability distribution which describes the data has multiple “peaks” wher...
GAN又模式坍塌（mode collapse）了。。。
S20144144的博客
10-18 2578
GAN模式坍塌（mode collapse）示例。。。
PaperNotes(7)-GANs模式坍塌、训练不稳定 相关论文
sinat_40624829的博客
11-05 1536
A distributional perspective on reinforcement learningabstract1.Introduction2.setting2.1. Bellman's Equations3.The Distributional Bellman Operators3.1 Distributional Equations3.2. The Wasserstein Metric3.3. Policy Evaluation3.3.1. CONTRACTION IN dp3.3.2. C
GAN网络模型有WGAN
01-21
### Wasserstein GAN (WGAN) 网络模型介绍及原理 #### 一、背景引入 传统生成对抗网络（GANs）在训练过程中面临诸多挑战，诸如模式崩溃和不稳定收敛等问题。为了克服这些局限性，研究者们提出了多种改进方案，其中一种便是基于地球移动距离（Earth Mover's Distance, EMD），亦称为Wasserstein距离的新型GAN架构——Wasserstein GAN (WGAN)[^1]。 #### 二、核心概念解析 WGAN的核心在于采用不同的损失函数来替代原始GAN中的JS散度。具体来说，在标准GAN框架下，判别器试图最大化真实样本得分而最小化伪造样本得分；而在WGAN里，则通过优化两个分布间的EMD实现这一目的。这种改变不仅使得训练过程更加稳定，而且有效缓解了模式坍塌现象的发生概率[^2]。 #### 三、数学基础阐述 设\( P_r \)表示来自实际数据集的概率分布，\( P_g \)代表由生成器产生的假样本所遵循的概率分布。那么两者之间的Wasserstein距离可以定义为： \[ W(P_r,P_g)=\inf_{\gamma\in\Pi(P_r,P_g)}\mathbb{E}_{(x,y)\sim\gamma}[d(x,y)] \] 这里 \( d(\cdot,\cdot) \) 是成本函数，默认情况下可取欧几里得距离；\( \Pi(P_r,P_g) \) 表示所有可能联合分布集合，满足边缘条件分别为 \( P_r \)，\( P_g \) 。然而直接求解上述表达式较为困难，因此实践中通常借助Kantorovich-Rubinstein对偶定理将其转化为更易于处理的形式: \[ W(P_r,P_g)=\sup_{||f||_L≤1}\left[\mathbb{E}_{x∼Pr}f(x)-\mathbb{E}_{y∼Pg}f(y)\right]\] 此处 \( f \) 称作Critic 函数，并且要求其 Lipschitz 常数不超过1。这也就意味着我们需要找到一个合适的 Critic 来逼近最优解，从而间接估计两者的Wasserstein距离[^3]。 #### 四、算法流程概述 - **初始化**：设定超参数并随机初始化权重； - **迭代更新**： - 对于每一轮epoch， - 训练critic T次，每次采样一批真实图片以及对应的噪声向量作为输入给到critic网络中前向传播得到评分值，接着利用反向传播调整参数以减小loss; - 更新一次generator，同样地先产生一批伪图像再送入已经训练好的critic获取反馈信号指导自身学习方向直至达到预设轮次数目停止循环。 值得注意的是，在此期间还需施加一定的约束措施确保 critic 的 lipschitz 属性得以保持，比如裁剪权值范围或者加入梯度惩罚项等方式均可达成该目标[^4]。 ```python import torch.nn as nn class Generator(nn.Module): def __init__(self): super().__init__() self.main = ... # 定义生成器结构 def forward(self, input): return self.main(input) class Discriminator(nn.Module): def __init__(self): super().__init__() self.main = ... # 定义鉴别器(Critic)结构 def forward(self, input): return self.main(input).view(-1) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值