tf2.0初始化集中方式

Daisy和她的单程车票

已于 2023-04-02 20:54:17 修改

阅读量193

点赞数

CC 4.0 BY-SA版权

分类专栏： tensorflow2.0 文章标签： tensorflow keras 深度学习

于 2021-08-11 11:50:19 首次发布

本文链接：https://blog.csdn.net/u012513618/article/details/119601253

本文介绍了TensorFlow 2.0中常用的权重初始化方法，包括常数、全1、全0、均匀分布、正态分布、截断正态分布、单位方差初始化、自适应初始化、正交初始化等，并提到了Keras中的Glorot、He和LeCun正态及均匀分布初始化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

tf.constant_initializer() 常数初始化
2. tf.ones_initializer() 全1初始化
3. tf.zeros_initializer() 全0初始化
4. tf.random_uniform_initializer() 均匀分布初始化
5. tf.random_normal_initializer() 正态分布初始化
6. tf.truncated_normal_initializer() 截断正态分布初始化
7. tf.uniform_unit_scaling_initializer() 这种方法输入方差是常数
8. tf.variance_scaling_initializer() 自适应初始化
9. tf.orthogonal_initializer() 生成正交矩阵

正态化的Glorot初始化——glorot_normal
tf.keras.initializers.glorot_normal(seed=None)
标准化的Glorot初始化——glorot_uniform
keras.initializers.glorot_uniform(seed=None)
正态化的he初始化——he_normal
keras.initializers.he_normal(seed=None)
标准化化的he初始化——he_uniform
keras.initializers.he_uniform(seed=None)
正态化的lecun初始化——lecun_normal
keras.initializers.lecun_normal(seed=None)
标准化的lecun初始化——lecun_uniform
keras.initializers.lecun_uniform(seed=None)
截断正态分布 – truncated_normal
keras.initializers.TruncatedNormal(mean=0.0, stddev=0.05, seed=None)
标准正态分布——random_normal