tf.keras.optimizers.Adam函数

原创已于 2022-05-01 14:21:01 修改 · 1w 阅读

22 ·

CC 4.0 BY-SA版权

文章标签：

#keras #tensorflow #深度学习

于 2022-05-01 14:17:33 首次发布

tensorflow 专栏收录该内容

33 篇文章

订阅专栏

本文详细介绍了TensorFlow中Adam优化器的函数用法，包括其参数学习率、beta_1、beta_2和epsilon的作用。默认设置为beta_1=0.9, beta_2=0.999, epsilon=1e-07。通过(optimizer=tf.keras.optimizers.Adam(0.001))创建实例，并使用(optimizer.apply_gradients(zip(gradients, elmo.trainable_variables)))进行参数更新。理解优化器对于深度学习模型的训练至关重要。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

函数原型

tf.keras.optimizers.Adam(
    learning_rate=0.001,
    beta_1=0.9,
    beta_2=0.999,
    epsilon=1e-07,
    amsgrad=False,
    name='Adam',
    **kwargs
)

函数说明

Adam函数定义了参数更新的方式，模型参数 $θ\theta$ 的具体更新过程如下所示：
在这里插入图片描述
参数leanrning_rate对应于学习率或者步长 $α\alpha$ ；参数beta_1，beta_2对应于 $β1\beta_1$ ， $β2\beta_2$ ，表示梯度的带权平均和带权方差，初始为0向量；参数epsilon对应于 $ϵ\epsilon$ 。

建议参数 $β1\beta_1$ =0.9， $β2\beta_2$ =0.99， $ϵ\epsilon$ =10^-8。针对特定问题，需要结合数值选择合适的算法。

函数使用

# 优化器adam
optimizer = tf.keras.optimizers.Adam(0.001)
# 应用梯度，这里会可以更新的参数应用梯度，进行参数更新
optimizer.apply_gradients(zip(gradients, elmo.trainable_variables))