机器学习与深度学习：从基础到大规模部署

# 机器学习与深度学习：从基础到大规模部署 ## 1. 机器学习基础 ### 1.1 训练方法选择 当训练集包含数百万个变量时，可使用随机梯度下降、小批量梯度下降；若训练集能放入内存，也可用普通梯度下降，但不能用正规方程，因为计算时间随变量数量急剧增加。 ### 1.2 特征缩放 若训练集特征尺度差异大，代价函数会呈细长碗状，梯度下降算法收敛慢。解决办法是在训练模型前对所有变量进行归一化。不过，正规方程无需进行尺度变换。若使用正则化模型（如岭回归、Lasso回归、弹性网络），归一化变量更重要，否则可能得到性能较差的解。 ### 1.3 梯度下降特性 - 逻辑回归训练中，梯度下降不会陷入局部最小值，因为代价函数是凸函数。 - 若优化函数是凸函数且学习率不过高，所有梯度下降算法都会接近全局最小值，最终产生相似模型。但如果不逐渐降低学习率，随机梯度下降和小批量梯度下降不会真正收敛，而是围绕全局最小值徘徊。 - 若验证误差在每个周期后持续增加，可能是学习率过高导致算法发散；若训练误差也增加，需降低学习率；若训练误差不增加，模型可能过拟合训练集，需停止训练。 - 由于随机梯度下降和小批量梯度下降的随机性，不能保证每次训练迭代都有进展。因此，若验证误差增加就立即停止训练，可能过早停止。更好的方法是定期保存模型，当模型长时间没有改进时，恢复到保存的最佳模型。 - 随机梯度下降的训练迭代最快，因为它每次只考虑一个训练观测值，能最快接近全局最小值（小批量梯度下降在批量大小很小时也类似）。但只有普通梯度下降能真正收敛，除非逐渐降低学习率，否则随机梯度下降和小批量梯度下降会围绕最小值徘徊。 ### 1.4 模型拟合问题 - 若验证误差远高于训练误差，模型可能过拟合训练集。解决方法包括降低多项式次数、正则化模型（如添加L2或L1惩罚项）、增加训练集大小。 - 若训练误差和验证误差相近且较高，模型可能欠拟合训练集，需尝试降低正则化超参数α。 ### 1.5 正则化模型选择 - 一般来说，有一定正则化的模型比无正则化的模型效果好，所以通常优先选择岭回归而非简单线性回归。 - Lasso回归使用L1惩罚项，倾向于将权重系数降为零，得到稀疏模型，可自动选择变量。若不确定哪些变量重要，优先选择岭回归。 - 弹性网络通常优于Lasso回归，因为Lasso在某些情况下（如多个变量高度相关或变量数多于训练观测值）可能表现不稳定。但弹性网络需要调整额外的超参数。若想要Lasso回归的效果又不希望其不稳定，可使用弹性网络并将l1_ratio设为接近1的值。 ### 1.6 分类问题 若要将照片分类为室外/室内和白天/黑夜，需训练两个逻辑回归分类器。 ## 2. 神经网络基础 ### 2.1 感知机与逻辑回归分类器 经典感知机只有在数据集可线性分离时才会收敛，且无法估计类别概率。相反，逻辑回归分类器即使数据集不可线性分离也能收敛到好的解，并能产生类别概率。若将感知机的激活函数替换为逻辑激活函数（或多神经元时的softmax激活函数），并使用梯度下降（或其他最小化代价函数的优化算法，如交叉熵）进行训练，它就等同于逻辑回归分类器。 ### 2.2 激活函数 常见的激活函数有阶跃函数、逻辑函数（Sigmoid）、双曲正切函数（tanh）和ReLU函数（修正线性单元）。其他例子如ELU和ReLU的变体。 ### 2.3 多层感知机（PMC） 一个包含输入层10个中间神经元、隐藏层50个神经元、输出层3个神经元，且所有神经元使用ReLU激活函数的PMC： - 输入矩阵X的形状是m × 10（m为训练批量大小）。 - 隐藏层权重向量Wh的形状是10 × 50，其常数项向量bh长度为50。 - 输出层权重向量Wo的形状是50 × 3，其常数项向量bo长度为3。 - 网络输出矩阵Y的形状是m × 3。 - 输出公式为Y = ReLU(ReLU(X Wh + bh) Wo + bo)。 ### 2.4 输出层设计 - 对电子邮件进行垃圾邮件/正常邮件分类，神经网络输出层只需一个神经元，可用逻辑激活函数估计概率。 - 处理MNIST数据集，输出层需要10个神经元，用softmax激活函数处理多类别分类。 - 预测房价，输出层需要一个神经元，输出层无需激活函数。 ### 2.5 反向传播 反向传播用于训练人工神经网络。它先计算代价函数相对于模型每个参数（所有权重和常数项）的梯度，然后使用计算出的梯度进行梯度下降步骤。这个反向传播步骤通常会使用大量训练批次进行数千或数百万次，直到模型参数收敛到可能最小化代价函数的值。为计算梯度，反向传播使用反向自动微分。 ### 2.6 PMC超参数调整 基础PMC可调整的超参数包括隐藏层数量、每个隐藏层的神经元数量以及每个隐藏层和输出层使用的激活函数。一般来说，ReLU（或其变体）是隐藏层的默认好选择；对于输出层，逻辑激活函数适用于二分类，softmax激活函数适用于多类别分类，回归则无需激活函数。若PMC过拟合训练数据，可尝试减少隐藏层数量和神经元数量。 ## 3. 深度神经网络训练 ### 3.1 权重初始化 所有权重必须独立采样，不能有相同的初始值。随机采样权重的重要目的是打破对称性，若所有权重初始值相同，反向传播无法解决这个问题，所有神经元的权重将始终相同，相当于每层只有一个神经元，很难收敛到好的解。 ### 3.2 常数项初始化 将常数项初始化为零是合适的，也可像初始化权重一样初始化常数项，差异不大。 ### 3.3 激活函数选择 #### 3.3.1 SELU与ReLU对比 SELU相对于ReLU有以下优点： - 接受负值，任何层神经元的平均输出通常比ReLU更接近零，有助于减少梯度消失问题。 - 导数始终不为零，避免了ReLU可能出现的神经元死亡问题。 - 在特定条件下（如模型是顺序的、权重使用LeCun初始化、输入归一化且无不兼容的层或正则化，如dropout和L1正则化），SELU激活函数能保证模型自动归一化，解决梯度爆炸/消失问题。 #### 3.3.2 不同场景激活函数选择 SELU是默认的好选择。若神经网络需要最快速度，可选择Leaky ReLU的变体。由于简单性，ReLU常受很多人青睐，尽管SELU和Leaky ReLU总体性能更好。tanh在输出层需要生成 -1 到 1 之间的数时有用，但如今在隐藏层使用较少（除了循环神经网络）。逻辑激活函数在输出层估计概率时适用，但在隐藏层很少使用。softmax在输出层用于产生互斥类别的概率，但很少在隐藏层使用。 ### 3.4 优化器参数 使用SGD优化器时，若动量超参数值接近1（如0.99999），算法会加速并可能越过全局最小值，然后来回振荡，收敛时间会比动量值较小时长得多。 ### 3.5 稀疏模型生成 生成稀疏模型（大部分权重为零）的方法有：正常训练模型后将非常小的权重置零；训练时应用L1正则化；使用TF - MOT（TensorFlow模型优化工具包）。 ### 3.6 Dropout影响 Dropout通常会使训练速度减慢约2倍，但对推理没有影响，因为它只在训练时激活。MC Dropout在训练时与Dropout相同，但在推理时仍保持激活，每次推理会稍微减慢，且通常需要执行至少10次推理以获得更好的预测，因此预测速度会减慢10倍或更多。 ## 4. 自定义模型与TensorFlow训练 ### 4.1 TensorFlow概述 TensorFlow是用于数值计算的开源库，特别适合大规模机器学习。它与NumPy基础类似，但支持GPU、分布式计算、计算图分析和优化，有基于反向自动微分的优化API以及多个其他API（如tf.keras、tf.data、tf.image、tf.signal等）。其他流行的深度学习库有PyTorch、MXNet、Microsoft Cognitive Toolkit、Theano、Caffe2和Chainer。 ### 4.2 TensorFlow与NumPy区别 虽然TensorFlow提供了NumPy的大部分功能，但不能直接替代NumPy。原因包括函数名称不同（如tf.reduce_sum()代替np.sum()）、部分函数行为不同（如tf.transpose()创建张量的转置副本，而NumPy的T属性创建转置视图，不实际复制数据）、NumPy数组可修改，而TensorFlow张量不可修改（但可使用tf.Variable创建可修改对象）。 ### 4.3 张量数据类型 tf.range(10)和tf.constant(np.arange(10))都返回包含0到9整数的一维张量，但前者使用32位整数，后者使用64位整数。默认情况下，TensorFlow是32位模式，而NumPy是64位模式。 ### 4.4 TensorFlow数据结构 除普通张量外，TensorFlow还提供了多种数据结构，如稀疏张量、张量数组、不规则张量、队列、字符串张量和集合。后两者实际上以普通张量形式表示，但TensorFlow提供了特殊函数进行操作（在tf.strings和tf.sets中）。 ### 4.5 自定义损失函数和指标 - 一般可将自定义损失函数实现为普通Python函数。若损失函数需接受超参数（或其他状态），它必须是keras.losses.Loss的子类，并实现__init__()和call()方法。为将损失函数的超参数与模型一起保存，还需实现get_config()方法。 - 大多数指标可定义为普通Python函数。若自定义指标需支持超参数（或其他状态），它必须继承自keras.metrics.Metric类。若指标在整个周期的计算与所有批次的平均计算不同（如精度和召回率指标），需实现__init__()、update_state()和result()方法来持续管理指标，并实现reset_states()方法（除非只需将所有变量重置为0.0）。为将状态与模型一起保存，需实现get_config()方法。 ### 4.6 模型组件定义 需区分模型的内部组件（即可重用的层或层块）和模型本身（即要训练的对象）。前者应继承自keras.layers.Layer类，后者应是keras.models.Model的子类。 ### 4.7 自定义训练循环 编写自定义训练循环较复杂，应在确实需要时才考虑。Keras提供了多种工具来自定义训练，无需编写自定义循环，如回调、自定义正则化器、自定义约束、自定义损失等。应尽量使用这些工具，因为自定义训练循环开发易出错且代码难以复用。但在某些情况下，如对神经网络不同部分使用不同优化器（如Wide & Deep文章中的情况），或在调试时了解训练具体工作原理，自定义训练循环会很有用。 ### 4.8 Keras组件转换 Keras自定义组件应能转换为TF函数，即应尽量使用TF操作并遵循“TF函数规则”。若必须在自定义组件中包含任意Python代码，可将其放在tf.py_function()操作中（但会降低性能并限制模型可移植性），或在创建自定义层或模型时指定dynamic=True（或在调用模型的compile()方法时指定run_eagerly=True）。 ### 4.9 动态Keras模型 创建动态Keras模型对调试有用，因为自定义组件不会编译为TF函数，可使用任何Python调试器分析代码。若想在模型（或训练代码）中包含任意Python代码，包括调用外部库，动态模型也很有用。要使模型动态，需在创建时指定dynamic=True，也可在调用模型的compile()方法时将run_eagerly设置为True。动态模型下，Keras无法使用TensorFlow的图功能，训练和推理会变慢，且无法导出计算图，模型可移植性受限。 ## 5. 数据加载与预处理 ### 5.1 Data API优势 高效加载和预处理大量数据集是工程挑战，Data API简化了这些操作。它提供了许多功能，包括从不同源（如文本或二进制文件）加载数据、从多个源并行读取数据、进行数据转换、交错记录、打乱数据、批量处理和预读取。 ### 5.2 数据集分割 将大量数据集分割成多个文件有诸多好处：可在粗粒度上打乱数据，再用缓冲区在更细粒度上打乱；能处理太大而无法放在一台机器上的数据集；更易于操作大量小文件，如将数据分解为多个子集；若数据分布在多个服务器的多个文件中，可同时从不同服务器下载多个文件，提高带宽利用率。 ### 5.3 数据处理瓶颈解决 可使用TensorBoard可视化性能分析数据，若GPU未充分利用，输入管道可能是瓶颈。解决方法包括让数据在多个线程中并行读取和预处理，并预读取一些批次。若仍无法在训练时充分利用GPU，需确保预处理代码已优化，可尝试将数据集保存为多个TFRecord文件，必要时提前进行部分预处理（TF Transform可提供帮助）。若有必要，可使用计算能力更强、内存更大