深度学习 ---参数初始化以及损失函数

深度学习 —参数初始化以及损失函数

一，参数初始化

神经网络的参数初始化是训练深度学习模型的关键步骤之一。初始化参数（通常是权重和偏置）会对模型的训练速度、收敛性以及最终的性能产生重要影响。

1.1 固定值初始化

固定值初始化是指在神经网络训练开始时，将所有权重或偏置初始化为一个特定的常数值。这种初始化方法虽然简单，但在实际深度学习应用中通常并不推荐。

1.1.1 全0初始化

import torch
import torch.nn as nn

def test004():
    linear = nn.Linear(in_features=6, out_features=4)
    nn.init.zeros_(linear.weight)
    print(linear.weight)


if __name__ == "__main__":
    test004()

1.1.2 全1初始化

全1初始化会导致网络中每个神经元接收到相同的输入信号，进而输出相同的值，这就无法进行学习和收敛。所以全1初始化只是一个理论上的初始化方法，但在实际神经网络的训练中并不适用

import torch
import torch.nn as nn


def test003():
    linear = nn.Linear(in_features=6, out_features=4)
    nn.init.ones_(linear.weight)
    print(linear.weight)

if __name__ == "__main__":
    test003()

1.3 任意常数初始化

将所有参数初始化为某个非零的常数（如 0.1，-1 等）。虽然不同于全0和全1，但这种方法依然不能避免对称性破坏的问题

import torch
import torch.nn as nn

def test002():
    linear = nn.Linear(in_features=6, out_features=4)
    nn.init.constant_(linear.weight, 0.63)
    print(linear.weight)
    pass

if __name__ == "__main__":
    test002()

1.2 随机初始化

def test01():
    model =nn.Linear(8,1)

    print(model.weight)
    #均匀分步初始化
    nn.init.normal_(model.weight,mean=0,std=0.01)
    print(model.weight)
    #正态分布初始化
    # 均值为0，标准差为0.01
    nn.init.normal_(model.weight,mean=0,std=0.01)
    print(model.weight)
if __name__ == '__main__':
    test01()

1.3 Xavier 初始化

def test04():
    model=MyNet1(10,2)
    nn.init.xavier_uniform_(model.fc1.weight)
    print(model)

if __name__ == '__main__':
    test04()

1.4 He初始化

def test006():
    # He初始化：正态分布
    linear = nn.Linear(in_features=6, out_features=4)
    nn.init.kaiming_normal_(linear.weight, nonlinearity="relu", mode='fan_in')
    print(linear.weight)

    # He初始化：均匀分布
    linear = nn.Linear(in_features=6, out_features=4)
    nn.init.kaiming_uniform_(linear.weight, nonlinearity="relu", mode='fan_out')
    print(linear.weight)


if __name__ == "__main__":
    test006()

二，损失函数

2.1 线性回归损失函数

2.1.1 MAE损失

维度	说明
全称	Mean Absolute Error
别名	L1-Loss、L1 范数误差
公式
符号	• $n$：样本总数 • $y_i$：第 $i$ 个真实值 • ${\hat{y}}_i$：第 $i$ 个预测值
梯度	$\frac{\partial \text{MAE}}{\partial {\hat{y}}_i}=\{\begin{array}{ll}+1,& {\hat{y}}_i>y_i\\ -1,& {\hat{y}}_i<y_i\\ \text{不可导},& {\hat{y}}_i=y_i\end{array}$（常用次梯度 $[-1,1]$ 处理）
特点	1. 鲁棒：对异常值不敏感（相比 MSE 无平方放大效应） 2. 直观：误差单位与原数据一致
优点	• 抗离群点能力强 • 易于业务解释
缺点	• 在 $y_i={\hat{y}}_i$ 处不可导（需次梯度） • 对极小误差“不敏感”，可能导致模型收敛到次优
适用场景	• 数据含潜在异常值 • 需线性、可解释误差度量（如金融风控、房价预测）
对比 MSE	MAE 更鲁棒，MSE 更平滑且对异常值敏感；二者均为凸损失函数

import torch
import torch.nn as nn

# 初始化MAE损失函数
mae_loss = nn.L1Loss()

# 假设 y_true 是真实值, y_pred 是预测值
y_true = torch.tensor([3.0, 5.0, 2.5])
y_pred = torch.tensor([2.5, 5.0, 3.0])

# 计算MAE
loss = mae_loss(y_pred, y_true)
print(f'MAE Loss: {loss.item()}')

2.1.2 MSE损失

import torch
import torch.nn as nn

# 初始化MSE损失函数
mse_loss = nn.MSELoss()

# 假设 y_true 是真实值, y_pred 是预测值
y_true = torch.tensor([3.0, 5.0, 2.5])
y_pred = torch.tensor([2.5, 5.0, 3.0])

# 计算MSE
loss = mse_loss(y_pred, y_true)
print(f'MSE Loss: {loss.item()}')

2.2 CrossEntropyLoss

2.1 信息量

信息量用于衡量一个事件所包含的信息的多少。信息量的定义基于事件发生的概率：事件发生的概率越低，其信息量越大。其量化公式：

对于一个事件x，其发生的概率为 P(x)，信息量I(x) 定义为：
$$I(x)=-logP(x)$$
性质

1. 非负性：I(x)≥0。
2. 单调性：P(x)越小，I(x)越大。

2.2 信息熵

信息熵是信息量的期望值。熵越高，表示随机变量的不确定性越大；熵越低，表示随机变量的不确定性越小。

公式由数学中的期望推导而来：
$$H(X)=-\sum _{i=1}^{n}P(x_i)logP(x_i)$$
其中：

$-logP(x_i)$是信息量，$P(x_i)$是信息量对应的概率

2.3 KL散度

KL散度用于衡量两个概率分布之间的差异。它描述的是用一个分布 Q来近似另一个分布 P时，所损失的信息量。KL散度越小，表示两个分布越接近。

对于两个离散概率分布 P和 Q，KL散度定义为：
$$D_{KL}(P||Q)=\sum _{i}P(x_i)log\frac{P(x_i)}{Q(x_i)}$$
其中：P 是真实分布，Q是近似分布。

2.4 交叉熵

对KL散度公式展开：
$$\begin{gathered} D_{KL}(P||Q)=\sum _{i}P(x_i)log\frac{P(x_i)}{Q(x_i)}=\sum _{i}P(x_i)[logP(x_i)-logQ(x_i)] \\ =\sum _{i}P(x_i)logP(x_i)-\sum _{i}P(x_i)logQ(x_i)=-(-\sum _{i}P(x_i)logP(x_i))+(-\sum _{i}P(x_i)logQ(x_i)) \\ =-H(P)+(-\sum _{i}P(x_i)logQ(x_i)) \\ =H(P,Q)-H(P) \end{gathered}$$
由上述公式可知，P是真实分布，H§是常数，所以KL散度可以用H(P,Q)来表示；H(P,Q)叫做交叉熵。

如果将P换成y，Q换成$\hat{y}$,则交叉熵公式为：
$$\text{CrossEntropyLoss}(y,\hat{y})=-\sum _{i=1}^C{y}_i\log ({\hat{y}}_i)$$

• 函数曲线图
  
  特点：

1. 概率输出：CrossEntropyLoss 通常与 softmax 函数一起使用，使得模型的输出表示为一个概率分布（即所有类别的概率和为 1）。PyTorch 的 nn.CrossEntropyLoss 已经内置了 Softmax 操作。如果我们在输出层显式地添加 Softmax，会导致重复应用 Softmax，从而影响模型的训练效果。

2. 惩罚错误分类：该损失函数在真实类别的预测概率较低时，会施加较大的惩罚，这样模型在训练时更注重提升正确类别的预测概率。

3. 多分类问题中的标准选择：在大多数多分类问题中，CrossEntropyLoss 是首选的损失函数。

应用场景：

CrossEntropyLoss 广泛应用于各种分类任务，包括图像分类、文本分类等，尤其是在神经网络模型中。

import torch
import torch.nn as nn

# 假设有三个类别
logits = torch.tensor([[1.5, 2.0, 0.5], [0.5, 1.0, 1.5]])

# 真实的标签
labels = torch.tensor([1, 2]) 
criterion = nn.CrossEntropyLoss()

# 计算损失
loss = criterion(logits, labels)
print(f'Cross Entropy Loss: {loss.item()}')

2.3 BCELoss

import torch
import torch.nn as nn

y = torch.tensor([[0.7], [0.2], [0.9], [0.7]])
#真实的标签
t = torch.tensor([[1], [0], [1], [0]], dtype=torch.float)

# 计算损失方式一:
bceLoss = nn.BCELoss()
loss1 = bceLoss(y, t)

#计算损失方式二: 两种方式结果相同
loss2 = nn.functional.binary_cross_entropy(y, t)
print(loss1, loss2)