神经网络中参数W、b的随机初始化

最新推荐文章于 2024-12-02 15:01:46 发布

关关在干嘛

最新推荐文章于 2024-12-02 15:01:46 发布

阅读量1.5k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：深度学习笔记

本文链接：https://blog.csdn.net/qq_39726927/article/details/109958667

一、两种初始化方法

1、在逻辑回归中，一般就直接初始化为0

# 全部初始化为0
import numpy as np

def initialize_parameters_zeros(layers_dims):    
    parameters = {}
    L = len(layers_dims)            
    
    for l in range(1, L):
        parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l - 1]))
        parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
    return parameters

2、在较小范围内随机初始化

# 在较小的范围内随机初始化
def initialize_parameters_he(layers_dims):    
    np.random.seed(3)
    parameters = {}
    L = len(layers_dims) - 1
     
    for l in range(1, L + 1):
        parameters['W' + str(l)] = np.random.randn(layers_dims[l],layers_dims[l-1])/np.sqrt(layers_dims[l-1])（这里网上有好几种写法）
        parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))
        
    return parameters