26、支持向量机（SVM）的深入应用

支持向量机（SVM）的深入应用

在机器学习的发展历程中，新的技术和算法不断涌现。如今，深度学习备受关注，但它并非机器学习领域出现的首个“重大突破”，也不会是最后一个。二十年前，支持向量机（SVM）曾是机器学习界的热门技术，刚出现时，许多学者对其能否有效工作持怀疑态度。然而，SVM凭借其出色的表现，在图像识别、医学诊断和文本分类等诸多领域找到了用武之地。

重温分类问题

在对两类样本进行精确分类时，类的不可分性是一个常见问题，因为可能不存在一条直线或平面能精确划分不同类别的样本。面对这种情况，现有的机器学习算法和技术提供了多种解决方案：
1. K近邻算法（K - Nearest Neighbors） ：当k值较小时，能适应类之间的非线性边界。
2. 逻辑回归（Logistic regression） ：通过估计样本属于某一类别的概率来解决问题，即使由于部分重叠无法正确区分类别，也能给出估计值。
3. 特征变换（Feature transformations） ：结合特征工程（在学习过程中加入人类创造力和先验知识）和自动多项式扩展（从特征创建幂变换和交互项），找到一组新的特征，通过分隔线或平面区分不同类别。
4. 决策树（Decision trees） ：通过对关键特征进行多次分割来构建分类边界，自然地适应非线性情况。
5. 神经网络（Neural networks） ：通过不同层神经元的连接自然地创建特征变换并获得非线性近似，但在训练过程处理不当时，估计的变异性会较高