Revisit Knowledge Distillation: a Teacher-free Framework

最新推荐文章于 2024-12-16 15:43:50 发布
最新推荐文章于 2024-12-16 15:43:50 发布
阅读量2.1k 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： Knowledge Distillation 论文学习笔记 深度学习 文章标签： Knowledge Distillation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013010889/article/details/102827797
探讨了知识蒸馏(KD)与正则化的关系，发现KD可视为一种可学习的label smoothing正则化，即使teacher性能不佳也能指导student。实验表明，自我训练和结合正则化的方法能有效提升性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Observations

通过几组实验观察到

  • 反转Knowledge Distillation(KD)即利用student来guide teacher的话，teacher的性能依然可以得到提升
  • 用一个比student还差的teacher来guide student的话，student的性能依然可以得到提升

因此作者得到以下观点

  • KD只是一种可学习的label smoothing regularization
  • label smoothing regularization可以看做提供了一个虚拟teacher的KD
  • argue到KD的有效性可能不全是像KD论文说的那样student从teacher那获得了类别之间的相似关系，还因为soft target的正则作用，后者甚至更重要
    在这里插入图片描述
    Re-KD是反转的KD，即用student来guide teacher
    在这里插入图片描述
    De-KD代表用没有训练好的，比student性能还差的teacher去guide student
    在这里插入图片描述
    teacher的性能好坏对student的影响没有那么大
    在这里插入图片描述

KD和label smoothing regularization(LSR)的联系

在这里插入图片描述
通过推导公式可以发现

  • KD是一种可学习的LSR
  • LSR是一种特殊的KD，他相当于是一个得到随机猜的老师
  • 当KD的t很大时，KD提供的soft target和LSR提供的均匀分布是类似的
    这也解释了上面Re-KD和DE-KD可以帮助学习的原因，实际上是一种正则化

Teacher Free KD

  • self-training：由于差teacher可以guide student，我们完全可以训练一个student然后去guide student
    在这里插入图片描述
  • reg：联合KD和LSR，即把LSR当成teacher跟预测结果做KL loss
    在这里插入图片描述在这里插入图片描述

Experiment

Self-training可以和正常的KD取得类似的效果
在这里插入图片描述
在这里插入图片描述
Reg和self training性能差不多，但是他没有增加太多计算量，且比LSR好很多，可以尝试
在这里插入图片描述

【CVPR 2021】Revisiting Knowledge Distillation: An Inheritance and Exploration Framework
梁瑛平的博客
07-23 675
【CVPR 2021】Revisiting Knowledge Distillation: An Inheritance and Exploration Framework论文地址：主要问题：主要思路：具体实现：Compact Knowledge Extraction：Inheritance and Exploration： 论文地址： https://arxiv.org/abs/2107.00181 主要问题： 作者认为直接推动学生模型模拟教师模型的概率/特征，在很大程度上限制了学生模型学习未被发现的知识
【图像去噪】论文精读：Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots（B2U）
最新发布
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
01-08 285
论文题目：Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots —— Blind2Unblind：具有可见盲点的自监督图像去噪CVPR 2022！大规模的真实噪声干净对成本高昂且难以获得。同时，在合成数据上训练的监督降噪器在实践中表现不佳。仅从单个噪声图像中学习的自监督去噪器解决了数据收集问题。然而，自监督去噪方法，尤其是盲点驱动方法，在输入或网络设计过程中遭受相当大的信息丢失。
Knowledge Distillation
bbbeoy的专栏
09-28 177
https://blog.csdn.net/nature553863/article/details/80568658
Revisiting Knowledge Distillation via Label Smoothing Regularization
afadgas的博客
03-15 584
Revisiting Knowledge Distillation via Label Smoothing Regularization
knowledge framework
pydict的博客
06-05 247
转载自 https://yijingping.github.io/2013/01/02/%E6%88%91%E7%9A%84%E7%9F%A5%E8%AF%86%E4%BD%93%E7%B3%BB.html 职业规划 方向：金融大数据（量化投资），突破口是该行业内的技术架构师 目标：在40岁以前实现人生自由和财富自由 能力：找准定位、组建团队、搞定融资的能力 操作系统 要求熟练使用Deb...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
无师傅知识蒸馏 本文实施：通过标签平滑正则化重新审视知识， arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新arxiv版本。 我们的工作表明：当神经网络过于强大而无法找到更强大的教师模型，或者计算资源仅限于训练教师模型时，可以应用“自我训练”或“手动设计的正则化”。 例如，ResNeXt101-32x8d是一个功能强大的模型，在ImageNet上具有88.79M参数和16.51G FLOP，为该学生训练更强大的教师模型非常困难或计算昂贵。 我们的策略可以将这种强大的学生模型进一步提高0.48％，而无需在ImageNet上进行额外的计算。 同样，当将具有34.53M参数的功能强大的单一模型ResNeXt29-8x64d作为学生模型时，我们的自训练实现在CIFAR100上实现
知识蒸馏paper分类整理(2014-2020)
KernelF
04-02 5275
Awesome Knowledge-Distillation 知识蒸馏paper分类整理 Awesome Knowledge-Distillation Different form of knowledge Knowledge from logits Knowledge from intermediate layers Mutual Information Self-KD Structur...
[论文笔记] Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation
weixin_44563093的博客
10-17 395
This paper adopts a fine-grained domain discriminator that not only plays as a domain distinguisher but also differentiates domains at class level
论文阅读（8）：ShrinkTeaNet: Million-scale Lightweight Face Recognition via Shrinking Teacher-Student Net
ljwherry的博客
02-09 1151
一、问题与挑战 大规模人脸识别在很多领域得以应用，这些系统大多依赖于复杂、参数量多的深度神经网络来实现，计算量大，复杂度高。需要高性能、有并行计算能力的特殊硬件才能执行，不适用于移动设备或嵌入式系统 现有的知识蒸馏方法专注于闭集问题下的精度和压缩比，以“测试类别与训练类别是固定的”为前提，不适用于开集任务 现有知识蒸馏方法大多数都才去teacher和student的特征间L2距离，要求特征进行...
【图像去噪】论文精读：Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images（NBR2NBR）
主要更新底层视觉（去噪、超分等）相关的科研内容，形式为【论文精读】+【论文复现】
12-16 432
论文题目：Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images —— Neighbor2Neighbor：来自单个噪声图像的自监督去噪CVPR 2021！在过去的几年里，图像去噪得益于神经网络的快速发展。然而，对大量噪声干净图像对进行监督的要求限制了这些模型的广泛使用。尽管已经有一些尝试仅使用单个噪声图像训练图像去噪模型，但现有的自监督去噪方法存在网络训练效率低、有用信息丢失或对噪声建模的依赖。
【论文速递】CVPR2021 - 重温知识蒸馏：一个继承和探索的框架
qq_50757624的博客
02-21 508
知识蒸馏 （KD） 是一种将知识从教师模型或融合转移到学生模型的流行技术。它的成功通常归功于教师模型和学生模型的类分布或中间特征表示之间的相似性/一致性的特权信息。然而，直接推动学生模型模仿教师模型的概率/特征，在很大程度上限制了学生模型学习未发现的知识/特征。在本文中，我们提出了一种新的继承和探索知识蒸馏框架（IE-KD），其中学生模型分为继承和探索两部分。继承部分在相似性损失的情况下学习，以将现有的学习知识从教师模型转移到学生模型，而鼓励探索部分学习与具有不相似性损失的继承表示不同的表示。
《Revisiting Distillation and Incremental Classifier Learning》 论文笔记
Chris_zhangrx的博客
12-05 828
原文链接：https://arxiv.org/abs/1807.02802 本文主要就是对于 iCaRL这篇论文的再研究，设置了一些研究型实验推翻了之前 iCaRL 论文中的一些说法，最终得出结论，iCaRL 之所以行之有效的主要原因是使用了知识蒸馏（Knowledge diatillation）。并对于知识蒸馏存在的分类器偏差（bias in classifiers）问题，提出了动态阈值移动（d...
knowledge distillation论文阅读之：Learning from a Lightweight Teacher for Efficient Knowledge Distillation
qq_42902997的博客
11-01 882
文章目录论文核心思路：1. 经典的 KD2. Teacher-free distillation（TF-KD）3. Lightweight knowledge distillation（LW-KD）3.1 生成 synthetic MNIST 合成数据集3.2 生成 soft target 软标签3.3 改进 KD loss function：enhanced LKDL_{KD}LKD​ + LGANL_{GAN}LGAN​3.3.1 enhanced LKDL_{KD}LKD​3.3.2 LGAN→LAD
【深度学习】（一）知识蒸馏
mjiansun的专栏
08-17 2375
近年来，知识提炼中的神经结构搜索，即在教师模型的指导下，对学生结构和知识转移进行联合搜索，将是未来研究的一个有趣课题。Offline Distillation缺点是教师网络通常容量大，模型复杂，需要大量训练时间，还需要注意教师网络和学生网络之间的容量差异，当容量差异过大的时候，学生网络可能很难学习好这些知识。然而，现有的在线方法（如相互学习）通常不能解决在线设置中的大容量教师，因此，进一步探索在线设置中教师和学生模型之间的关系是一个有趣的话题。这部分将探讨的教师模型和学生模型的结构之间的关系，如上图所示。.
Knowledge Distillation(11)——teacher assistant
judgechen1997的博客
09-25 1276
motivation: 希望a teacher can effectively transfer its knowl- edge to students up to a certain size， 但有时gap太大，效果反而差， 正如mutual learning发现跟teacher学还不如和一个与自己目前水平相当（虽然网络结构差很多）的student学 所以助教的概念都出来了： teache...
Knowledge Distillation(9)——Fast Human Pose Estimation
judgechen1997的博客
09-23 446
如果这一系列博客之前的都有看了，且有了解过pose领域的hourglass， 这篇文章的idea就很清晰了： 对每个hourglass module的中继监督，同时加入hard label&teacher’s soft output 关于文章的一些思考，一些别人的博客翻译总结的很好： ...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
目标检测向：Data Distillation: Towards Omni-Supervised Learning
weixin_40516558的博客
03-22 1355
参考原来写在知乎的文章：https://zhuanlan.zhihu.com/p/33493383
Knowledge Distillation: Principles, Algorithms, Applications
bbbeoy的专栏
11-09 732
Large-scale machine learning and deep learning models are increasingly common. For instance, GPT-3 is trained on 570 GB of text and consists of 175 billion parameters. However, whilst training large models helps improve state-of-the-art performance, depl..
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值