SK_Jaco的博客

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第六章 支持向量机 6.1 间隔与支持向量 在样本空间中找到一个超平面，将不同类别样本分开，超平面应选择尽量靠中间，容错率较好； 为超平面的线性方程，其中ω为平面法向量，b为位移项； 由点到面距离公式，可得到样本空间中任一点到超平面的距离：； 若yi=+1，则>0；若yi=-1，则

###环境 Python版本：3.6.8 Python包：Python-3.6.8.tgz 服务器：192.168.200.17 安装目录：/data/component/python3 ###Python安装 1.安装准备 安装Python前需要安装部分插件 sudo yum install zlib-devel bzip2-devel openssl-devel ncurses-devel s...

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第十一章 特征选择与稀疏学习 11.1 子集搜索与评价 特征选择：从给定的特征集合中选择出相关特征子集的过程（重要的数据预处理过程）； 无关特征：与训练任务无关的特征；冗余特征：包含的信息能从其他特征中推演出来； 子集搜索：前向、后向、双向； 子集评价：计算子集增益； 信息增益越大意味着

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第十章 降维与度量学习 本章学习过程参考博客： 机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用： 连接：SVD奇异值分解 10.1 k临近学习 k临近学习（kNN）：监督学习方法。给定测试样本，基于某种距离度量找出训练集中最近的k个样本，

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第九章 聚类 9.1 聚类任务 聚类是无监督学习中研究最多，应用最广的方法； 聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为一个簇； 分类后的每个簇的由使用者根据特征和需求命名； 9.2 性能度量 聚类的性能度量大致两类：将聚类结果于某个参考模型比较的外部指标；直接

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第五章 神经网络 5.1 神经元模型 其中x1,x2,…,xn为输入，w1,w2,…,wn为神经元连接权重，θ为阈值，y为输出； 将权重与输入乘积累加起来，再减去阈值，通过激活函数得到输出； 5.2 感知机与多层网络 通过一个输入层和一个输出层的组合可以得到与、或、非运

1.基本流程 决策树： 决策树学习的目的是为了产生一棵处理未见示例能力强的决策树； 决策树学习基本算法：决策树生成是一个递归的过程，有三种情况会导致递归返回： 1.当前结点包含的样本全都属于同一类别，此时不需要划分； 2.当前结点属性集为空，或者所有样本属性取值相同，此时把当前结点标记为叶结点，类别设定为样本最多的类别（后验分布）； 3.当前结点样本集为空，...

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第八章 集成学习 8.1 个体与集成 集成学习：通过构建并结合多个学习起来完成学习任务； 集成目标：个体学习期有一定的准确性，学习器间有一定的差异； 在二分类问题y{-1,1}中，超过半数分类器正确，则集成分类 随着集成中个体分类器数目T的增大，集成的错误率将指数级下降，最终趋于零

1.基本形式 给定由d个属性描述的示例，其中是在第个属性上的取值，线性模型通过对属性的线性组合来预测的函数： （一般写成向量形式）; 参数w的大小可以反映对应属性的“偏好”； 2.线性回归 使用均方误差衡量预测与真实之间误差大小，即，求最小值使误差最小； ...

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第十三章 半监督学习 13.1 未标记样本 让学习器不依赖外界交互、自动的利用未标记样本来提升学习性能，就是半监督学习； 聚类假设：假设数据存在簇结构，同一个簇的样本属于同一个类别； 流形假设：假设数据分布在一个流行结构上，邻近的样本拥有相似的输出值； 半监督学习可进一步分为纯半监督学习和

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第二章 模型评估与选择 错误率：分类错误的样本数占样本总数的比例，E=a/m。 精度：分类正确的样本数占样本总数的比例，精确度=1-错误率。 过拟合：训练样本学的太好，导致泛化性能下降。 欠拟合：训练样本学的不太好。 测试集与训练集尽量互斥，测试样本尽量不在训练样本中出现。 产生

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。

周志华《机器学习》 学习笔记 最近开始学习机器学习，参考书籍西瓜书，做点笔记。 第一章.绪论 第一章主要介绍机器学习中的名词、发展、现状等。 机器学习研究内容：计算机上，从数据中产生模型的算法。 数据集：记录的集合。 样本：数据集中每条记录的对一个对象的描述。 属性、特征：反应对象某方面表现的事项。 属性值：属性的取值。 属性空间、样本空间：属性所张成的空间。 特征向量

1.贝叶斯决策论 贝叶斯决策论是概率框架下实施决策的基本方法，对于分类任务，在所有相关概率都已知的理想情形下，贝叶斯决策论基于这些概率和误判损失选择最有类别标记。 判别式模型：给定样本，可通过直接建模来预测，如决策树、神经网络、SVM； 生成式模型：对联合概率分布建模，然后再得到，如贝叶斯分类器。 基于贝叶斯定理，​可写为： ...

1.KNN原理 ​ 存在一个样本数 据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。 2.KNN流程 计算已知类别数据集中的点与当前点之间的距离； 按照距离递增次序排序； 选取与当前点距离最小的走个点； 确定...