深度学习记录--指数加权平均

1. 指数加权平均 指数加权平均是深度学习众多优化算法的理论基础，包括Momentum、RMSprop、Adam等，在介绍这些优化算法前，有必要对指数加权平均(exponentially weighted averages)做一个简单的介绍，以期对后续的优化算法的原理有所知晓。 何为指数加权平均那？ 现在想求一段时间内的平均温度，给定一段时间的温度序列，加和平均结果为，每天温度的权重都是相同的。进一步，若要根据平均气温预测明天的温度，显然昨天的温度应该较30...

一.概述 指数加权移动平均(Exponential Weighted Moving Average)，简称EMA。 算术平均（权重相等）—>加权平均(权重不等)—>移动平均(大约是只取最近的N次数据进行计算)—> 批量归一化(BN)及各种优化算法的基础 EMA：是以指数式递减加权的移动平均，各数值的加权影响力随时间呈指数式递减，时间越靠近当前时刻的数据加权影响力越大 以伦敦...

译者 | 林椿眄编辑 | 明 明出品 | AI 科技大本营（公众号ID：rgznai100）【AI 科技大本营导读】本文，我们将讨论近期两篇有意思的论文，论文的大致思路是...

在深度学习中，指数加权平均不仅体现在优化器中，还会使用在模型更新中，会定义两个相同的模型，一个用于训练，一个用于保存采用EMA更新的参数，一定程度上增加了模型的鲁棒性。

指数加权平均的公式如下：Vt​ 是第 t 天的指数加权平均值。β 是一个介于 0 和 1 之间的超参数，用于控制平滑程度。β 越接近于 1，则 Vt​ 越平滑（即越依赖于过去的数据），反之则越不平滑（即越依赖于当前的数据）。Vt−1​ 是第 t−1 天的指数加权平均值。θt​ 是第 t 天的实际观测值。(1−β) 是权重，表示当前观测值 θt​ 对 Vt​ 的影响程度。

背景：在深度学习优化算法，如:Momentum、RMSprop、Adam中都涉及到指数加权平均这个概念。为了系统的理解上面提到的三种深度学习优化算法，先着重理解一下指数加权平均(exponentially weighted averages) 定义 指数移动平均（EMA）也称为指数加权移动平均（EWMA），是一种求平均数的方法，应用指数级降低的加权因子。 每个较旧数据的权重都呈指数...

因为学习率过大可能导致偏离函数范围，这种上下波动导致学习率无法得到提高，速度因此减慢(下图蓝色曲线)横轴上，所有的微分都指向横轴方向，所有横轴方向上的平均值依然较大。其中dw,db可以看作加速度，v_dw,v_db可以看作速度，纵轴上，平均过程中正负数相互抵消，所以纵轴上的平均值接近于0。把图像比作一个碗，轨迹视为小球的轨迹，从边缘向碗内最低点运动。因此，小球会向着碗中心运动，最终因摩擦力而停下来。因此，纵轴上摆动减小，横轴上运动速度加快。为了减小波动，同时加快速率，可以使用。

优化算法是深度学习的核心，它们决定了模型训练的效率和结果的质量。在这篇博客中，我们将通过 PyTorch 代码实例，深入理解各种优化算法的原理和实现。我们将使用一个简单的线性回归任务，在数据集上比较不同优化算法的表现。这个数据集包含了与翼型自噪声相关的特征和目标变量。该博客中仅仅介绍了不同的优化算法，利用这写算法实现特定任务的流程这里不再介绍，请参考从代码学习深度学习 - 小批量随机梯度下降 PyTorch 版。通过代码学习，我们能够建立更直观的理解，看到优化算法在实际训练中的差异。

在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以提高测试指标并增加模型鲁棒。 1.基于数学的介绍 公式例子 我们有关于“温度-天数”的数据 ：在第t天的温度。 ：第t天的移动平均数。 ：权重参数。 图中红线即是蓝色数据点的指数移动平均。 和 之间的关系 大概表示前天的平均数据。（以第天做参考） 如： 大概表示前10天的平均数据 红线 ...

此公众号会发表计算机考研（初复试信息）、夏令营等资料，方便考研人对信息的获取，节约自身查找资料的时间 目录 1. 什么是指数加权平均 2.指数加权平均的优势 3. 为什么在优化算法中使用指数加权平均 4.偏差修正 5. β 如何选择？ 6.参考 1. 什么是指数加权平均 指数加权平均(exponentially weighted averges)，也叫指数加权移动平均，是一种常用的序列数据处理方式。 它的计算公式如下： 其中， θ_t：为第 t 天的实际观察值， V_...

摘要：AI技术正革新消费电子逆向抄数，突破传统方法在数据处理、建模精度和迭代速度上的局限。智能点云优化工具可提升70%处理效率，深度学习建模使精度达95%以上，某智能手表案例显示研发周期缩短40%。新启航半导体推出微米级三维扫描方案，具备反光表面扫描、六轴自动扫描等五大优势，测量精度达±0.02mm，扫描速度80万次/秒，为智能制造提供全周期技术支持。（150字）

TensorFlow 中 tf.data.Dataset API 的使用方法，帮助开发者高效构建深度学习数据管道。

摘要 本文设计并实现了一种基于卷积神经网络（CNN）的手势识别系统。针对传统手势识别方法在复杂环境下鲁棒性不足的问题，采用深度学习技术构建轻量化CNN模型，通过数据增强扩充公开数据集至8万张图像，提升模型泛化能力。系统采用分层架构，包含数据预处理、CNN模型训练和实时预测模块，支持静态和动态手势识别。实验结果表明，该系统在普通计算设备上可实现90%以上的识别准确率，延迟低于200ms，适用于智能家居、AR/VR等实时交互场景。创新点在于轻量化模型设计、多源数据增强和端到端系统实现。

本文系统阐述了大语言模型（LLM）落地的四大核心方向：1）微调技术（LoRA等参数高效方法），通过领域适配提升专业性；2）提示词工程（CLEAR原则），低成本释放模型潜力；3）多模态应用（图文/视频分析），拓展数据类型边界；4）企业级方案（分层架构），解决安全、性能和扩展性问题。文章包含代码示例、流程图解和行业案例，强调从业务需求出发选择技术路径，实现从实验室验证到产业落地的完整闭环。随着技术成熟，大模型正从辅助工具演变为企业智能化基础设施。

训练集: 280张眼底图像非病理性近视: 133张 (47.5%)病理性近视: 147张 (52.5%)验证集: 60张眼底图像非病理性近视: 27张 (45.0%)病理性近视: 33张 (55.0%)测试集: 185张眼底图像数据集具有良好的类别平衡性，为模型训练提供了稳定的基础。本项目成功实现了从血细胞分类到眼疾识别的技术迁移，展现了深度学习在医疗图像分析领域的强大潜力。✅高准确率: 验证集准确率达96.67%✅完美AUC: AUC值达到1.0000✅稳定收敛。

维度前馈神经网络反馈神经网络图网络信息流向单向流动循环流动基于图结构的多向流动记忆能力无有依赖图结构典型应用静态数据处理时间序列数据图结构数据训练方法BP算法Hebb规则等图卷积、图注意力等这些网络结构各有优势，在实际应用中，常根据数据特性和任务需求选择合适的网络架构，或结合多种结构形成更复杂的模型。