13、深度学习中的微积分：从偏导数到矩阵微积分

深度学习中的微积分：从偏导数到矩阵微积分

1. 偏导数：多变量函数的导数

在处理多变量函数时，我们需要引入偏导数的概念。之前我们主要关注单变量函数 (f(x)) 的导数，现在考虑多变量函数，如 (f(x, y)) 或 (f(x_0, x_1, x_2, \ldots, x_n))。

偏导数的计算方法是：在计算关于某一个变量的偏导数时，将其他变量视为常数。例如，对于函数 (f(x, y) = xy + \frac{x}{y})，我们可以计算两个偏导数：
- 关于 (x) 的偏导数：(\frac{\partial f}{\partial x}=y+\frac{1}{y})
- 关于 (y) 的偏导数：(\frac{\partial f}{\partial y}=x - \frac{x}{y^2})

再看一个例子，对于函数 (f(x, y, z) = x^2 + y^2 + z^2 + 3xyz)，其偏导数分别为：
- (\frac{\partial f}{\partial x}=2x + 3yz)
- (\frac{\partial f}{\partial y}=2y + 3xz)
- (\frac{\partial f}{\partial z}=2z + 3xy)

混合偏导数

就像单变量函数的导数一样，我们可以对偏导数再求偏导数，这就是混合偏导数。例如，对于函数 (f(x, y, z, t))，如果先求关于 (z) 的偏导数 (\frac{\partial f}{\partial z})，它仍然是关于 (x, y, z, t) 的函数，我们可以继续求关于其他变量的偏导数。