今天我们要深入探讨的是机器学习优化算法中最核心、最基础的一个方法——梯度下降法。
简单来说，优化算法就是寻找最佳解决方案的数学工具，其核心目标是通过系统性的调整，找到能够使目标函数取得极值（最大值或最小值）的参数组合。举个生活中的例子：就像你每天在寻找通勤时间最短的上班路线一样，这本质上就是一个典型的优化问题。用数学语言描述，这类问题通常可以转化为一个函数表达式，而优化算法的工作就是通过不断调整输入参数，最终找到让这个函数输出最优值的解。
接下来，我们就重点解析这个在人工智能领域举足轻重的梯度下降算法。
1.梯度下降法
基本原理
梯度下降法本质上是一种迭代优化算法，其核心功能是通过系统性的参数调整来寻找目标函数的极值点（通常是最小值）。这种方法之所以得名，是因为它始终沿着函数梯度的反方向进行搜索——梯度指向函数增长最快的方向，而其反方向自然就是下降最快的路径。
关键操作步骤
-
梯度计算阶段：在当前参数位置精确计算目标函数的梯度（即一阶导数），这个梯度向量不仅指示了函数值变化的方向，还反映了变化的剧烈程度。
-
参数更新阶段：按照以下规则调整参数：
- 步长由学习率（learning rate）控制
- 移动方向与梯度方向相反
- 更新公式：新参数 = 原参数 - 学习率 × 梯度
-
收敛判断：重复上述过程直到满足终止条件，常见条件包括：
- 梯度值趋近于零
- 达到预设的最大迭代次数
- 连续迭代间的改进小于阈值
形象化案例：盲人下山
想象一个视力受限的登山者在天黑后需要找到山谷的最低点：
- 感知环境：用脚探测周围地面的倾斜方向和程度（相当于计算梯度）
- 决策移动：选择最陡的下坡方向迈出适当的一步（相当于参数更新）
- 迭代过程：重复感知和移动，直到站在平地上（梯度为零的点）
这个类比完美诠释了梯度下降的核心机制：
- 山地地形 ↔ 待优化的目标函数
- 登山者的位置 ↔ 当前参数值
- 脚步感知 ↔ 梯度计算
- 步伐大小 ↔ 学习率设定
- 最终到达的谷底 ↔ 函数最小值点
算法特点
- 通用性强：适用于各类可微函数的优化
- 计算高效：每次迭代只需计算一阶导数
- 灵活可控：通过调整学习率平衡收敛速度和精度
- 局部最优风险：可能收敛到局部最小值而非全局最优解
2.数学实例
目标函数分析
我们以最简单的二次函数为例：
这是一个凸函数，在 x=0 处取得全局最小值0。
梯度计算
函数的导数为：f′(x)=2x
这个导数就是梯度下降法中的梯度信息。
迭代过程演示
设定初始值 x0=3，学习率 η=0.1
第一次迭代：
- 计算梯度：f′(3)=6
- 参数更新：x1=3−0.1×6=2.4
- 函数值：f(2.4)=5.76
第二次迭代：
- 计算梯度：f′(2.4)=4.8
- 参数更新：x2=2.4−0.1×4.8=1.92
- 函数值：f(1.92)=3.6864
收敛趋势：
随着迭代继续，参数和函数值变化如下表：
| 迭代次数 | x值 | f(x)值 |
|---|---|---|
| 0 | 3.0 | 9.0 |
| 1 | 2.4 | 5.76 |
| 2 | 1.92 | 3.6864 |
| 3 | 1.536 | 2.3593 |
| 10 | 0.161 | 0.0259 |
| 20 | 0.0017 | 0.000003 |
数学原理推导
-
泰勒展开基础：
在当前位置xk附近的一阶近似：
-
更新规则推导：
为使f(xk+1)<f(xk)，应满足：f′(xk)(xk+1−xk)<0
取xk+1=xk−ηf′(xk)，则：
f(xk+1)≈f(xk)−η[f′(xk)]2
由于η>0，函数值必然下降。
-
收敛性分析：
对于凸函数，当学习率满足η<1/L（L为Lipschitz常数），算法保证收敛。本例中L=2，因此η=0.1满足条件。
关键参数影响
-
学习率选择：
- 过大（如η=1）：会导致震荡发散
- 过小（如η=0.001）：收敛速度过慢
- 合适范围：0<η<1/L
-
初始值影响：
虽然凸函数最终都会收敛，但好的初始值能加快收敛速度。
算法变种
-
动量法：加入历史梯度信息
vt=γvt−1+η∇f(xt−1)
xt=xt−1−vt
-
自适应学习率：
如AdaGrad、RMSProp等自动调整学习率的方法
这个简单的例子完整展示了梯度下降法从具体实现到理论推导的全过程，是理解更复杂优化算法的基础。
3.实验
代码如下：
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
# 数据生成
np.random.seed(42)
n_samples = 200
x1 = 2 * np.random.rand(n_samples, 1) # 特征1
x2 = 3 * np.random.rand(n_samples, 1) # 特征2
noise = np.random.randn(n_samples, 1) * 0.5 # 噪声
y = 5 + 2 * x1 + 3 * x2 + noise # 目标值
# 将特征合并
X = np.hstack([x1, x2])
# 初始化参数
w = np.random.randn(2, 1) # 权重(w1, w2)
b = np.random.randn(1) # 偏置
learning_rate = 0.01
n_iterations = 500
# 梯度下降存储损失
loss_history = []
# 梯度下降迭代
for iteration in range(n_iterations):
# 预测
y_pred = X @ w + b
# 损失函数(MSE)
loss = (1 / (2 * n_samples)) * np.sum((y_pred - y) ** 2)
loss_history.append(loss)
# 梯度计算
dw = (1 / n_samples) * (X.T @ (y_pred - y))
db = (1 / n_samples) * np.sum(y_pred - y)
# 参数更新
w -= learning_rate * dw
b -= learning_rate * db
# 打印最终参数
print(f"Optimized Parameters: w1={w[0, 0]:.4f}, w2={w[1, 0]:.4f}, b={b[0]:.4f}")
# 图形绘制
fig = plt.figure(figsize=(20, 10))
# 图1: 损失值动态变化曲面图
ax1 = fig.add_subplot(1, 2, 1, projection='3d')
iterations = np.arange(n_iterations)
weights = np.linspace(-2, 4, n_iterations)
loss_surface = np.array([loss_history for _ in range(n_iterations)])
X_weights, Y_weights = np.meshgrid(weights, iterations)
ax1.plot_surface(X_weights, Y_weights, loss_surface, cmap='coolwarm', alpha=0.9)
ax1.set_title("Loss Surface Dynamics", fontsize=16)
ax1.set_xlabel("Iterations", fontsize=14)
ax1.set_ylabel("Parameter Update (Steps)", fontsize=14)
ax1.set_zlabel("Loss (MSE)", fontsize=14)
# 图2: 3D拟合效果展示
ax2 = fig.add_subplot(1, 2, 2, projection='3d')
ax2.scatter(x1, x2, y, c='blue', label='Data Points')
x1_grid, x2_grid = np.meshgrid(np.linspace(0, 2, 50), np.linspace(0, 3, 50))
y_grid = w[0, 0] * x1_grid + w[1, 0] * x2_grid + b[0]
ax2.plot_surface(x1_grid, x2_grid, y_grid, cmap='viridis', alpha=0.7)
ax2.set_title("3D Data Fitting with Gradient Descent", fontsize=16)
ax2.set_xlabel("Feature x1", fontsize=14)
ax2.set_ylabel("Feature x2", fontsize=14)
ax2.set_zlabel("Target y", fontsize=14)
ax2.legend(fontsize=12)
plt.tight_layout()
plt.show()
扫一扫
4418
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
