超级会员免费看
探索前馈神经网络：从基础到实战
1. 神经网络的基本单元
神经网络是深度学习的核心组成部分之一，而其基本构建块则是单元（unit）。单元是神经网络的基本功能模块，它接收一个向量输入 ( \mathbf{x} \in \mathbb{R}^n ) 并产生一个标量输出。每个单元由一个权重向量 ( \mathbf{w} \in \mathbb{R}^n ) 和一个偏置项 ( b ) 参数化，其输出可以表示为：
[ f(\mathbf{x}) = \sum_{i=1}^{n} w_i x_i + b ]
其中，( f ) 是激活函数，它可以是非线性的。激活函数赋予了神经网络非线性表达能力，使其能够处理复杂的模式识别任务。常见的激活函数包括Sigmoid、ReLU、Tanh等。
激活函数的作用
激活函数在神经网络中扮演着至关重要的角色，它们不仅决定了神经元的输出范围，还影响了梯度传播的效果。选择合适的激活函数对于模型的性能至关重要。以下是几种常用的激活函数：
| 激活函数 | 表达式 | 特点 |
|---|---|---|
| Sigmoid | ( f(x) = \frac{1}{1 + e^{-x}} ) | 输出范围在(0, 1)之间，适用于二分类问题 |
| ReLU | ( f(x) = \max(0, x) ) |
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
