关于导数(derivative),偏导数(partial derivative),梯度(gradient)的概念辨析

本文针对深度学习中back-propagation算法所涉及的梯度和偏导概念进行详细解析,区分了导数、偏导数及梯度的不同,并强调了它们在一元与多元函数上的应用差异。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在研究深度学,尤其时back-propagation算法时,对梯度和偏导的概念有很多涉及。个人数学功底渣渣,通过多处求证,在这里简单回顾梳理一下,以避免混淆模糊,便于不时查阅。

首先,导数仅定义在一元函数y = f(x)上,而偏导和梯度是定义在多元函数y = f(x1,x2,x3,..,xn)上;导数和偏导是实数,梯度是一个向量。

导数:derivative:有一阶和高阶导数(high order derivative)

            

偏导数:partial derivative:

梯度:gradient:是由偏导组成的向量

### 绘制偏导数函数图像的方法 为了在MATLAB中绘制偏导数函数的图形,可以通过定义目标函数及其对应的偏导数表达式来实现。对于给定的目标函数 \(f(x, y)\),先利用符号工具箱计算其关于各个变量的偏导数,再通过数值网格化的方式生成数据点用于绘图。 考虑具体例子 \(f(x, y) = \sin(x) \cdot \cos(y)\)[^3],下面展示如何分别求得此函数对\(x\)\(y\)的一阶偏导数,并将其可视化: #### 定义函数与计算偏导数 ```matlab syms x y % 声明符号变量 f = sin(x)*cos(y); % 定义原函数 df_dx = diff(f,x); % 对x求一阶偏导数 df_dy = diff(f,y); % 对y求一阶偏导数 disp('The partial derivative of f with respect to x is:'); pretty(df_dx); disp('The partial derivative of f with respect to y is:'); pretty(df_dy); ``` 这段代码首先声明了两个符号变量`x``y`,接着定义了原始函数`f`以及对其各参数取偏导的结果`df_dx``df_dy`。最后打印出了这两个偏导数的具体形式[^3]。 #### 创建网格并评估偏导数值 接下来创建一个二维网格,在这个范围内计算上述偏导数的实际值以便后续作图: ```matlab [X,Y] = meshgrid(-pi:0.1:pi,-pi:0.1:pi); % 构建X-Y平面内的采样点矩阵 DF_DX = double(subs(df_dx,{x,y},{X,Y})); % 将符号表达式的偏导数转换成具体的数值数组 DF_DY = double(subs(df_dy,{x,y},{X,Y})); ``` 这里使用了`meshgrid()`函数构建了一个范围从\(-π\)到\(π\)之间的均匀分布的数据集;之后借助`subs()`替换掉原来的符号变量得到实际坐标位置处的偏导数值,并通过`double()`强制类型转换确保最终结果为双精度浮点型数组。 #### 可视化偏导数 有了之前准备好的数据后就可以轻松地画出所需的图表了。一种直观的做法就是采用矢量场(即箭头图)叠加等高线的方式来表示偏导数的变化趋势: ```matlab figure; contour(X,Y,double(subs(f,{x,y},{X,Y})),'ShowText','on'); hold on; % 显示等高线 quiver(X,Y,DF_DX,DF_DY); colorbar; title('Partial Derivatives Visualization'); xlabel('x-axis'); ylabel('y-axis'); legend({'Contour Lines', 'Gradient Vectors'},'Location','bestoutside'); hold off; ``` 以上命令序列先是调用了`contour()`显示由原函数形成的等高线条带,紧接着运用`quiver()`描绘出代表梯度方向的小箭头,从而形象地展示了偏导数的空间分布情况[^2]。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值