机器学习（十六)：多类分类和Softmax回归

💗💗💗欢迎来到我的博客，你将找到有关如何使用技术解决问题的文章，也会找到某个技术的学习路线。无论你是何种职业，我都希望我的博客对你有所帮助。最后不要忘记订阅我的博客以获取最新文章，也欢迎在文章下方留下你的评论和反馈。我期待着与你分享知识、互相学习和建立一个积极的社区。

Softmax回归是一种用于多分类问题的机器学习模型，它是逻辑回归在多分类场景下的扩展。该模型通过线性变换和Softmax函数将输入特征映射为概率分布，输出各类别的预测概率。文章详细介绍了Softmax回归的数学模型、交叉熵损失函数以及梯度推导过程，并给出了向量化实现方法。关键内容包括：线性变换公式、Softmax概率转换、交叉熵损失计算、参数梯度推导以及矩阵化表示。最后提供了一个完整的Python实现示例，涵盖模型训练、预测和评估功能。该模型适用于手写数字识别、图像分类等多分类任务，具有输出概率解释性强、

PS：softmax回归损失函数梯度下降，求导部分没使用指示函数和向量，直接针对单变量进行推导。网上其他资料都比较抽象，找了很久没找到容易理解的，硬刚了几天终于整出来了。 一、前言 二、假设函数 三、One-Hot 独热编码 四、代价函数 五、梯度下降 六、原生代码实现 6.1 加载并查看数据 6.2 添加前置与数据分割 6.3 迭代训练 6.4 验证数据 七、sklearn代码实现 八、参考资料

本文所有代码及数据可下载。Scikit Learn 篇：Light 版scikit learn内置了逻辑回归，对于小规模的应用较为简单，一般使用如下代码即可from sklearn.linear_model.logistic import LogisticRegressionclassifier = LogisticRegression()classifier.fit(X_train, y_tra...

目录 逻辑回归的Sigmoid和 Softmax的区别和关系 区别 联系 回头看softmax公式的由来 推导过程 证明多项分布属于指数分布族 关于损失函数 前边我们说到二分类用逻辑回归算法，多分类场景还是得上softmax回归。 逻辑回归的Sigmoid和 Softmax的区别和关系 区别 Sigmoid ： Softmax 函数： 对于一个长度为 K 的任意实数矢量，Softmax 可以把它压缩为一个长度为 K 的、取值...

给定以歌n×kn×kn×k矩阵Ww1w2wkWw1​w2​...wk​,其中，wj∈Rnw_j\in R^nwj​∈Rn为n×1n×1n×1列向量（1≤j≤k1≤j≤k）,Softmax模型hwRn→Rkhw​Rn→RkhWxew1x∑t1kewtxew2x∑t1kewtxewkx∑t1kewtx。

在我们解决多类线性可分问题的时候，常会遇到单标签二分类问题、单标签多分类问题、多标签算法问题。而前面讲的线性分类模型，原则上只能解决二分类问题，但通过一些技巧就可以解决多分类问题。这里主要分析通过“一对其余”方式（OvR）、“一对一”方式（OvO）、纠错码机制（MvM）等来解决单标签多分类问题，最后用案例对比三种方式的优缺点，同时分析了多个二分类器策略和softmax回归的区别。

在读文章之前，先读Logistic回归,Logistic回归是Softmax回归的特殊情况，即二分类情况。

欢迎收藏Star我的Machine Learning Blog:https://github.com/purepisces/Wenqing-Machine_Learning_Blog。如果收藏star, 有问题可以随时与我交流, 谢谢大家！ Softmax 回归 Softmax 回归，也称为多项逻辑回归，是逻辑回归的广义，用于多类分类问题。虽然逻辑回归用于二分类，softmax 回归则用于类别超过两个的情况。 Softmax 回归的关键点： 多类分类：当因变量可以有两个以上的类别时，使用 softmax

本文介绍了凸优化的基本概念与方法。主要内容包括：1)凸集与凸组合的定义，通过几何示例说明凸集特性；2)凸函数的定义及其可微、二阶可微时的判别条件；3)凸函数的运算闭合性，如非负加权和、最大值等保持凸性；4)无约束优化的梯度下降法及其收敛性分析；5)约束优化问题的基本形式。文章系统阐述了凸优化在机器学习中的基础理论，为后续学习优化算法和拉格朗日对偶性奠定了基础。

机器学习一般需要先定义问题、收集数据、探索数据、预处理数据，对数据处理后，接下来开始训练模型、评估模型，然后优化模型等步骤，图5-3为机器学习一般流程图。通过这个图形可直观地了解机器学习的一般步骤或整体框架，接下来就对各部分分别加以说明。

通才”不是指Prompt把模型变成了通才，而是指模型本身已经被训练成了一个“通才”。它在海量数据中学习了语言、逻辑、知识和多种技能的潜在模式。Prompt的作用是“激活”和“引导”。它像一个开关或一个指令，告诉这个强大的通才模型：“嘿，现在请启动你的‘翻译’技能”或者“现在请启动你的‘创意写作’技能”。

本文记录了机器学习中朴素贝叶斯算法的学习过程，从基础的贝叶斯思想切入，通过 “摸球”“校园性别与着装” 等案例，清晰拆解正向概率与逆向概率的区别，推导贝叶斯公式核心逻辑 —— 用先验概率、似然概率结合观测信息计算后验概率。进而讲解朴素贝叶斯的 “朴素假设”（特征独立），并结合拼写纠正（如判断 “tlp” 应为 “top” 还是 “tip”）、垃圾邮件分类（通过邮件单词判断是否为垃圾邮件）两个实例，说明其实际应用原理。还介绍了适配不同数据类型的三种朴素贝叶斯模型（多项式、高斯、伯努利）的适用场景与关键参数。

本章介绍离散数据的生成模型，主要包括贝叶斯概念学习、beta-二项模型、Dirichlet-多项模型和朴素贝叶斯分类器。首先探讨贝叶斯概念学习的似然、先验、后验及后验预测分布，随后详细分析beta-二项和Dirichlet-多项模型的构建过程。最后重点讲解朴素贝叶斯分类器的模型拟合、预测方法、对数求和技巧、基于互信息的特征选择以及词袋文档分类应用。这些模型为处理离散数据提供了系统的贝叶斯框架和方法。

机器学习的四大任务——监督、无监督、半监督和强化学习，构成了现代人工智能技术的基石。它们各具特色，适用于不同的问题场景，也正在不断融合创新。未来，随着多模态数据（文本、图像、语音、视频）的爆炸式增长，单一学习方式已难以满足复杂任务的需求。如何将多种学习策略有机结合、构建通用人工智能（AGI），将成为学术界和产业界共同探索的方向。如果你正准备踏入机器学习的世界，不妨从这四种基本任务入手，建立系统的认知框架，为深入学习打下坚实基础。

预测时使用测试集特征（X_test）进行推理，输出各分类的概率值，可选择是否对概率取对数（log）以简化计算，通过 score 方法可获取模型评分（如查准率、查全率等），用于评估模型性能。P(xi|C)= (count(xi,C)+1) / (count(C)+|V|)，|V| 为特征取值数或词典大小。实际代码里用 log 化乘法为加法，防止下溢：score(C)=log P(C)+Σi log P(xi|C)。似然：P(xi|C)= 类别 C 中特征 xi 出现的次数 / 类别 C 的总特征计数。