- 博客(250)
- 收藏
- 关注
RSS订阅原创 神经网络|(十六)概率论基础知识-伽马函数·上
本文介绍了伽马函数的两种定义形式（积分形式和无穷乘积形式），并对其数学意义进行了溯源分析。通过将离散的阶乘公式改写成连续极限形式，展示了伽马函数如何将阶乘概念推广到除负整数外的所有实数。文章详细推导了阶乘极限形式的证明过程，说明了伽马函数作为阶乘推广的数学合理性。这为后续学习更复杂的概率分布奠定了理论基础。
2025-08-27 21:39:48
848
原创 神经网络|(十五)概率论基础知识-协方差标准化和皮尔逊相关系数
本文介绍了协方差与方差的关系，指出方差是协方差的特例。通过公式推导说明协方差标准化可得到皮尔逊相关系数ρ，其取值范围为[-1,1]，能消除量纲影响并衡量变量间的线性相关性：ρ>0为正相关，ρ=0为无关，ρ<0为负相关。文章总结了协方差标准化获取皮尔逊相关系数的基本概念。
2025-08-25 13:13:29
708
原创 神经网络|(十四)概率论基础知识-协方差和方差
本文介绍了协方差与方差的核心概念及其关系。协方差用于衡量两个随机变量的线性相关性（正相关、负相关或不相关），其计算基于变量偏离均值的乘积期望。方差则是协方差的特例，表示变量与自身的协方差，反映数据离散程度。通过公式推导展示了二者间的联系：当计算变量与自身的协方差时，结果即为方差。文章系统梳理了这些统计量在描述变量关系时的数学本质和实际意义。
2025-08-24 10:14:30
926
原创 STAR-CCM+|K-epsilon湍流模型溯源
本文介绍了STAR-CCM+中K-epsilon湍流模型的基本概念。K-epsilon模型由湍流动能(k)和湍流耗散率(ε)组成，通过公式μt=ρCμk²/ε计算湍流粘度(μt)。其中k表示速度脉动强度，ε反映动能转化为热量的速率。该模型基于布辛涅斯克近似，认为湍流应力与平均流场应变率成正比。文中还列举了不同版本的K-epsilon模型（标准型、两层模型、低雷诺数型等），并解释了各参数物理意义。
2025-08-23 17:22:40
1421
原创 神经网络|(十三)概率论基础知识-贝叶斯公式和全概率公式
本文系统梳理了贝叶斯统计的核心概念。首先介绍了联合概率和条件概率的定义与关系，指出条件概率蕴含联合概率。接着通过条件概率推导出贝叶斯公式的基本形式，展示概率事件的相互转换关系。然后结合全概率公式，将贝叶斯公式扩展到多事件互斥互补的情况。最后强调要灵活运用联合概率等式进行概率转换，掌握先验、后验概率的相互推导方法。全文清晰呈现了贝叶斯理论的基本框架和计算逻辑。
2025-08-23 11:04:57
851
原创 神经网络|(十二)概率论基础知识-先验/后验/似然概率基本概念
本文介绍了贝叶斯统计中的三个核心概念：先验概率、似然概率和后验概率。先验概率是在获取新信息前对事件的初始判断；似然概率表示已知参数条件下观测到某结果的概率；后验概率则是结合新信息后对先验概率的修正更新。通过硬币抛掷的实例，说明了这三个概率的关系及其在贝叶斯推断中的作用，为后续深入学习打好基础。
2025-08-22 01:38:16
394
原创 神经网络|(十一)概率论基础知识-协方差
本文介绍了协方差的基础知识及其在机器学习中的应用。首先回顾了概率论和数据处理的基础知识，然后详细阐述了协方差的数学定义、样本计算方法及其含义解释（正相关、不相关、负相关）。文章还总结了协方差的重要性质，包括对称性、与方差的关系以及线性性质。这些内容为后续机器学习中处理变量间关系提供了理论基础。全文以数学公式和简明解释相结合的方式，系统性地介绍了协方差这一重要统计概念。
2025-08-21 13:19:27
1060
原创 scikit-learn/sklearn学习|多任务弹性网MultiTaskElasticNet解读
本文系统梳理了线性回归及其衍生算法的核心公式与应用场景。首先介绍了普通线性回归的基本公式$y=w^Tx+b$和均方误差函数；随后详细解析了四种改进算法：岭回归（增加L2正则项）、套索回归（L1正则项）、多任务套索回归（混合L1/L2）和弹性网络（可调L1/L2混合比）。特别指出多任务弹性网络通过参数ρ在[0,1]间的调节，可退化为单纯L2（ρ=0）或L1/L2混合（ρ=1）形式。全文揭示了不同回归方法的核心差异在于均方误差函数中正则化项的构造方式，为理解各类回归算法提供了清晰的数学框架。
2025-08-19 20:29:01
1003
原创 scikit-learn/sklearn学习|多任务套索回归MultiTaskLasso解读
本文介绍了多任务套索回归(MultiTaskLasso)的原理与特点。在普通线性回归基础上，通过引入L1和L2混合正则化惩罚项，MultiTaskLasso能实现特征选择与系数共享。其损失函数包含两项：均方误差项和正则化项，后者通过计算特征权重的L2范数平方根和来实现行稀疏性。这种设计使得模型可以自动剔除不重要特征，并将重要特征统一应用于所有任务，特别适合处理多任务学习问题。相比单任务套索回归，MultiTaskLasso强制不同任务共享特征选择，在多个高度相关任务中表现优异。
2025-08-17 22:40:19
652
原创 scikit-learn/sklearn学习|套索回归Lasso解读
本文对比分析了线性回归、岭回归和套索回归(Lasso)的核心差异。线性回归通过最小化均方误差建立线性模型；岭回归加入L2正则化惩罚项(系数平方和)解决多重共线性和过拟合问题；套索回归则采用L1正则化惩罚项(系数绝对值之和)，能将不重要特征的系数压缩为0，实现特征选择。Lasso特别适合高维数据降维，其正则化强度α控制着特征保留数量，需通过调参获得最佳效果。三种方法在模型复杂度控制、特征选择和防止过拟合方面各有特点，为不同场景下的回归分析提供了有效工具。
2025-08-17 15:23:04
847
原创 scikit-learn/sklearn学习|广义线性回归 Logistic regression的三种成本函数
本文介绍了Logistic回归的三种成本函数：L2正则化成本函数（包含权重平方项）、L1正则化成本函数（包含权重绝对值项）以及弹性网正则化成本函数（结合L1和L2正则化）。其中弹性网函数通过参数ρ在两种正则化间平衡，当ρ=1时退化为L1正则化，ρ=0时退化为L2正则化。这些成本函数为Logistic回归提供了不同的正则化选择方案。
2025-08-14 22:00:01
1053
原创 scikit-learn/sklearn学习|岭回归linear_model.Ridge()函数解读
本文探讨了岭回归中正则化强度对线性系数的影响。通过对比三种不同的正则化强度定义方式（对数空间、指数衰减和正弦序列），发现无论采用何种强度因子定义，当正则化强度增大时，线性系数均趋向于0。作者使用Hilbert矩阵作为输入数据，通过可视化展示了不同正则化强度下系数的变化趋势，验证了岭回归的稳健特性。实验结果表明，正则化强度因子的选择方式虽不同，但都能有效控制模型复杂度，防止过拟合现象的发生。
2025-08-13 23:08:09
443
原创 scikit-learn/sklearn学习|岭回归python代码解读
本文通过一个Python实例演示了岭回归的实现过程。首先构建了一个10×10的希尔伯特矩阵作为特征矩阵X和全1向量y作为目标变量。然后使用sklearn的Ridge回归模型，设置200个不同的正则化参数alpha（从10^-10到10^-2对数均匀分布），计算每个alpha对应的回归系数。最后可视化展示了回归系数随正则化参数变化的趋势图，直观反映了岭回归通过L2正则化控制模型复杂度的效果。该示例帮助读者理解岭回归在实际应用中的实现方法和参数调节过程。
2025-08-12 23:33:46
249
原创 scikit-learn/sklearn学习|岭回归解读
本文介绍了岭回归的原理及其优势。岭回归通过在线性回归的均方误差中增加L2正则化惩罚项（$\alpha\sum w_j^2$），解决了线性回归的两个主要问题：当变量存在多重共线性时，惩罚项能有效抑制参数过大；当数据存在噪声时，惩罚项能防止过拟合。通过调节正则化强度$\alpha$，可以控制模型复杂度，$\alpha$越大模型越简单。相比线性回归，岭回归能产生更稳健、更准确的预测结果。
2025-08-11 21:20:09
928
原创 scikit-learn/sklearn学习|线性回归解读
本文介绍了使用sklearn进行线性回归建模的完整流程。首先导入必要的模块(matplotlib、numpy、sklearn等)，然后加载糖尿病数据集并处理数据特征，将数据划分为训练集和测试集。接着创建线性回归模型，用训练集拟合模型，并对测试集进行预测。最后输出回归系数、均方误差和决定系数等评估指标，并绘制预测值与实际值的对比图。通过这个实例，展示了如何使用sklearn进行数据预处理、模型训练和评估，为后续SVM等算法的学习打下基础。
2025-08-10 16:02:32
718
原创 python学智能算法（三十六）|SVM-拉格朗日函数求解（中）-软边界
本文详细推导了软间隔SVM的拉格朗日方程求解过程。首先建立包含松弛变量ξ的拉格朗日函数，然后通过分别对w、b和ξ_i求偏导，得到关键表达式：w可由样本线性表示、α与y的加权和为零、以及α_i的取值范围0≤α_i≤C。将这些结果代入原方程后，最终简化为仅含α_i的优化问题。整个推导过程清晰地展示了软间隔SVM的数学基础，为后续求解奠定了基础。
2025-08-09 22:10:24
1313
1
原创 python学智能算法（三十五）|SVM-软边界拉格朗日方程乘子非负性理解
本文讨论了SVM软边界模型中拉格朗日乘子非负性的数学原理。在构建拉格朗日方程时，通过分析KKT条件的要求，解释了为什么必须设置乘子α_i≥0和μ_i≥0。这种设置源于对距离函数和松弛变量非负性的约束处理，确保优化问题满足KKT条件。文章详细阐述了乘子非负性与约束条件之间的数学对应关系，说明了这种设置的必要性和合理性。
2025-08-08 22:00:02
1047
原创 python学智能算法（三十四）|SVM-KKT条件回顾
本文回顾了KKT条件在约束优化问题中的应用。KKT条件适用于目标函数最小化、带不等式和等式约束的优化问题，要求函数连续可微且满足约束规范条件。关键内容包括：1）梯度平衡条件，即目标函数与约束函数的梯度通过非负乘子线性组合为零；2）互补松弛条件，不等式约束乘子与约束函数值的乘积为零。文章通过图示说明了当约束为严格不等式时乘子为零，在约束边界时满足梯度平衡条件。KKT条件为判断约束优化问题极值点提供了必要准则。
2025-08-06 22:15:50
888
1
原创 python学智能算法（三十三）|SVM-构建软边界拉格朗日方程
本文在SVM软边界模型基础上，构建了对应的拉格朗日函数。首先分析了惩罚系数C>0的必要性：C>0时惩罚项与违反程度成正比，C≤0会导致约束失效或违反。然后引入拉格朗日乘子α和μ，分别对应距离函数和松弛变量约束，最终构建出完整的拉格朗日函数表达式。该函数包含距离最大化项、惩罚项以及两个约束条件的拉格朗日乘子项，为后续求解SVM软边界问题奠定了基础。
2025-08-05 21:06:17
804
原创 python学智能算法（三十二）|SVM-软边界理解
本文介绍了支持向量机(SVM)中软边界的定义与应用。当数据不完全线性可分时，通过引入松弛变量ξ_i来容忍分类错误，构建软边界优化目标函数：min(1/2||w||^2 + C∑ξ_i)。其中第一项保持最大间隔，第二项为错误惩罚项，常数C统一控制模型对错误的容忍度。这种处理方法简化了公式结构，便于构建拉格朗日函数和参数调优，使SVM能更好地处理实际应用中的非线性可分数据。
2025-08-05 06:50:31
901
原创 python学智能算法（三十一）|SVM-Slater条件理解
学习了拉格朗日函数、对偶函数、对偶问题、仿射函数、slater条件和它们之间的关联关系。
2025-08-03 18:56:14
810
原创 python学智能算法（三十）|SVM-KKT条件的数学理解
解析了KKT条件在约束优化问题中的应用。首先定义了带约束的最小优化问题，包括目标函数、不等式约束和等式约束。通过构造拉格朗日函数，详细阐述了KKT条件的五个关键要素：梯度为零条件、约束可行性（不等式和等式）、拉格朗日乘子非负性以及互补松弛条件。特别解释了乘子非负性的物理意义，将其比作阻止解进入非可行域的"推力"，与目标函数的"拉力"形成平衡。最后指出互补松弛条件包含两种情况：约束不起作用时乘子为零，约束起作用时乘子非负。这些条件共同构成了约束优化问题最优解的判定标准。
2025-08-01 22:29:18
1149
原创 python学智能算法（二十九）|SVM-拉格朗日函数求解中-KKT条件理解
本文介绍了KKT条件在带约束优化问题中的应用原理。通过"力的平衡"类比，阐释了KKT五大规则：目标函数梯度与约束梯度加权和平衡（拉格朗日乘子权重）；不等式约束条件的边界限制；拉格朗日乘子非负性保证方向正确；互补松弛性确保未激活约束不影响；等式约束严格成立。这些条件共同判断优化问题中既满足约束又无法改进的局部最优解。文章以直观的物理类比帮助理解数学优化条件，为后续应用奠定理论基础。
2025-07-31 22:25:28
721
原创 3D打印喷头的基本结构
3D打印喷头主要由五大系统组成：驱动系统通过电机和送料机构精确控制材料输送；热端系统包含喷嘴、加热块等部件，负责材料熔融挤出；冷却系统通过风扇和散热片维持适宜温度；控制系统由传感器和主控板实现精准温控和运动协调；此外还包括保护外壳和压力传感器等辅助部件。这些系统的协同工作确保了3D打印的精度和稳定性。
2025-07-29 23:00:58
296
原创 python学智能算法（二十八）|SVM-拉格朗日函数求解中-KKT条件
本文探讨了支持向量机(SVM)中的KKT条件应用。通过分析拉格朗日函数，证明了SVM优化问题属于凸优化问题，具有抛物线型目标函数和线性约束条件。重点阐述了KKT条件的四个组成部分：平稳性条件（梯度为0）、互补松弛条件（拉格朗日乘子与约束关系）、原问题可行条件（分类约束）和对偶可行条件（乘子非负）。KKT条件不仅是判断最优解存在的核心准则，还揭示了样本对超平面的影响机制：非零乘子对应支持向量。这些理论为SVM的最优分割超平面求解提供了数学基础。
2025-07-23 22:05:02
882
原创 python学智能算法（二十七）|SVM-拉格朗日函数求解上
本文介绍了支持向量机(SVM)拉格朗日函数的求解过程。首先给出原始的拉格朗日函数表达式，然后分别对权重向量w和偏置b求导并令导数为零，得到w的表达式和约束条件。将这些结果代回原函数后，通过展开和简化，最终得到优化后的拉格朗日函数表达式：L(α)=∑αi-1/2∑αiαjyiyjxiTxj。这一过程为后续求解SVM模型奠定了基础。
2025-07-21 11:26:27
730
原创 python学智能算法（二十六）|SVM-拉格朗日函数构造
本文介绍了如何运用拉格朗日乘数法求解SVM中的最佳超平面问题。首先将最小函数距离F调整为1，通过对比不同超平面调整后的权重矩阵w，选择使w最小的超平面作为最优解。在此基础上构建约束函数g，最终构造拉格朗日函数L(w,b,α)，其中包含目标函数1/2||w||²和约束条件项。该函数为每个约束条件分配独立因子αi，确保所有约束同时满足以获得全局最优解。
2025-07-20 19:28:19
897
原创 python学智能算法（二十五）|SVM-拉格朗日乘数法理解
本文梳理了支持向量机中最佳超平面求解的核心概念与拉格朗日乘数法的应用。首先介绍了函数距离F与几何距离δ的关系（δ=F/||w||），指出寻找最佳超平面就是在所有最小几何距离中选取最大值的过程。通过将函数距离设为1，将问题转化为最小化||w||²/2的距离函数f。接着详细阐释了拉格朗日乘数法的原理：当目标函数f在约束条件g下取得极值时，其梯度向量平行（∇f=λ∇g）。通过分解梯度方向，说明了极值点处f在约束切向上无分量的几何意义，并辅以等高线图示帮助理解这一关键数学工具在优化问题中的应用。
2025-07-19 16:58:54
1013
原创 python学智能算法（二十四）|SVM-最优化几何距离的理解
本文回顾了几何距离δ的定义及其与函数距离F的关系，指出两者仅相差权重矩阵w的范数（δ=F/||w||）。通过调整w和b使F=1，可将最优超平面问题转化为最小化||w||的问题。最终提出将寻找最优超平面转化为求解最小化1/2||w||^2的优化问题。这一过程展示了从几何距离到优化问题的转化思路。
2025-07-18 21:23:20
1041
原创 python学智能算法（二十三）|SVM-几何距离
本文介绍了点与超平面距离的计算方法。首先回顾了基于函数间隔F的计算公式及Python实现，发现当权重向量w和偏置量b等比缩放时，F值也会等比变化，这影响了距离计算的稳定性。为此，文章提出了几何距离δ的计算方法，通过将权重向量归一化为单位向量，消除了比例变化的影响。文中给出了相应的Python代码实现，验证了在w和b等比缩放时，几何距离δ能保持稳定不变的结果。最终总结了几何距离的定义和计算方法，解决了函数间隔F的尺度敏感性问题。
2025-07-18 17:24:54
1303
原创 python学智能算法（二十二）|SVM-点与超平面的距离
本文探讨了点与超平面距离的计算方法。首先回顾超平面表达式w·x+b=0，定义β=w·x+b作为距离度量。指出直接使用β会出现分类错误，提出改进判别式F=min(y_i(w·x_i+b))。通过实例分析，当F>0时分类正确，F<0时分类错误。该方法能有效避免将最近点误判为最远点的问题，为SVM算法中选择最优分割超平面提供了理论基础。
2025-07-17 22:42:43
754
原创 python学智能算法（二十一）|SVM-感知机算法代码解读
本文详细解读了基于感知机算法实现数据分类的Python代码实例。整个案例完整演示了感知机算法从数据准备、模型训练到结果可视化的全过程，为理解这一经典机器学习算法提供了实践参考。
2025-07-16 18:41:52
1001
原创 python学智能算法（二十）|SVM基础概念-感知机算法及代码
本文介绍了感知机的基本概念和实现方法。感知机是模拟生物神经网络的数学模型，当输入信号达到阈值时输出感应信号。文章展示了使用numpy的sign()函数实现感知机模型，并提供了一个完整的感知机分类项目代码示例。该代码通过随机权重初始化、预测函数和权重更新实现了二分类任务，最终可视化展示了分类结果和决策边界。项目使用了sklearn生成线性可分数据集，通过调整权重将样本分为两类，并用不同颜色标记分类区域。
2025-07-15 23:29:08
446
原创 python学智能算法（十九）|SVM基础概念-超平面
本文介绍了用向量点积表示超平面的基础知识。首先回顾了向量基本概念和二元/三元线性方程表达的几何形式，指出超平面是实现分类的点、线或面。文章详细推导了将直线方程y=kx+b转换为向量点积形式W·X+b=0的过程，并扩展到任意维度。进一步通过增加x0=1和w0=b构造增强向量，简化为W̄·X̄=0的简洁表达。这些内容为理解支持向量机的超平面分类原理奠定了基础。
2025-07-15 15:09:06
347
原创 python学智能算法（十八）|SVM基础概念-向量点积
本文介绍了向量点积的概念与计算方法。首先回顾了向量基础定义，随后重点阐述了二维及多维向量点积的通用公式u·v=∑(xiyi)，并展示了使用Python numpy模块实现点积运算的代码示例。通过定义点积函数，演示了如何计算两个向量[3,5,8]和[5,6,10]的点积结果为125。文章完整呈现了向量点积的理论推导与编程实现过程，为读者理解向量运算提供了实用参考。
2025-07-14 22:43:52
285
原创 python学智能算法（十七）|SVM基础概念-向量的值和方向
本文介绍了SVM算法中关于向量的基础知识。向量可以理解为坐标轴上有方向的箭头，用坐标表示。向量的值（L2范数）计算公式为√(Σx_i²)，可通过numpy的linalg.norm函数计算。方向向量是将向量除以自身范数得到的新向量，其值为1。文章通过具体示例(3,4)向量，展示了如何用Python计算向量值和方向向量。这些内容是理解SVM算法的重要数学基础。
2025-07-14 16:39:34
599
原创 python学智能算法（十六）|机器学习支持向量机简单示例
本文介绍了支持向量机(SVM)算法的一个Python实现示例。首先使用sklearn中的鸢尾花数据集，选取前两类线性可分样本进行训练测试集划分，并进行数据标准化处理。然后详细定义了一个SVM类，包括核函数选择、参数初始化、SMO优化算法实现以及预测方法。通过训练模型并评估测试集准确率，验证了算法的有效性。最后深入解析了sklearn中StandardScaler标准化函数的计算过程，对比了手动标准化与transform方法的结果一致性。该示例为理解SVM原理及其实现提供了清晰的技术路线。
2025-06-25 22:02:49
879
原创 python学智能算法（十五）|机器学习朴素贝叶斯方法进阶-CountVectorizer多文本处理
使用CountVectorizer进行多文本处理的方法。通过将多个文本输入到CountVectorizer中，可以生成词汇表和对应的词频向量。代码示例展示了如何对5个关于Python和数据科学的句子进行向量化处理，输出包括稀疏矩阵表示（显示每个词在文本中的位置和出现次数）、按字母排序的词汇表（共21个词）以及完整的向量表示（每行对应一个文本，包含21维的词频数据）。文章还解释了输出数据的含义，如"(0,14)1"表示第0行文本中第14号词(Python)出现1次。
2025-06-21 11:48:31
623
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人