qq_64296768的博客

使得模型效果更好，那么我怎么更好的去寻找到满足前提条件中最好的值(即这个前提条件是最优的)，此时寻找的方法就可以使用高斯过程，找到这个最好的前提条件值，此时就只需要对另外一个参数2做考虑即可，迭代参数2的范围，找到模型性能最好的那组对应的超参数组合。幸运的是，目前这个好理解但实现复杂的方法已经被封装在。其高斯过程的核心是对已有的数据点预测区域进行函数建模，求其不确定性和概率分布，对其中概率较大的区间的进行迭代，使得模型的损失达到最低时对应的超参数组合选择，但是这种方式比较消耗计算资源。

其将训练得到的大量决策树进行组合得到随机森林，由于决策树分为分类决策树和回归决策树。相比于Boosting的集成学习框架，时，其大量分类决策树可以采用结果。得到综合后的分类结果；时，其大量回归决策树可以采用。的方式得到综合后的回归结果。其Bagging由于其。在机器学习领域大受应用。

类别特征在结构化数据集中非常常见，如性别(男、女)、学历(本科、硕士、博士)等，对于这类数据，。除了这种编码方式外，。除了编码和one-hot编码外，另外一种方式则是。具体例子如用户ID这一类别特征，可以使用历史点击率(目标变量)的均值代替原始ID值，这种方法的适用场景为存在明显类别分布差异的数据，是的其通过目标变量的计算均值能尽可能的将其类别特征区分开来。

(如原特征A的bin范围是0-10，特征B的bin范围为11-20)；)是对XGBoost进行改进的模型版本，其。由于XGBoost的复杂度是由于。对XGBoost优化主要就从。由于XGBoost通过对。这个单边梯度抽样是分为对。中，许多特征是互斥的(如。其涉及的优化方面涉及。

树结点-》CART决策树(分类树/回归树)-》GBDT(基本超参数-》拟合方法-》预测方法)-》损失函数(交叉熵损失-》均方损失-》一阶导数)-》辅助函数(数据标准化-》数据划分方法-》数据打乱方法)-》拟合方法-》预测方法)-》损失函数(交叉熵损失-》均方损失-》一阶导数-》：树结点-》决策树(分类树/回归树)-》XGBoost(基本超参数-》)-》辅助函数(数据标准化-》数据划分方法-》数据打乱方法)遍历所有的树，针对每一棵树做预测，然后对预测结果进行。，其最大特性在于对GBDT的。

：树结点-》CART(分类树/回归树)-》GBDT(基本超参数-》拟合方法-》预测方法)-》损失函数(交叉熵损失-》均方损失-》一阶导数)-》辅助函数(数据标准化-》数据划分方法-》数据打乱方法))提升树前向分布迭代过程的方法是梯度提升树(gradient boosting tree)相较于AdaBoost的经典算法模型而言，目前主流的是GBDT系列模型，与。其适用场景在对于一个数据集需要对其进行分类(，其对应的梯度提升决策树称为GBDT；)或者回归预测(GBRT)的任务。利用损失函数的负梯度求解(

旨在建立 一个线性分隔超平面对线性可分的数据集进行分类。神经网络最经典的案例就是手写数字识别项目。神经网络最典型的应用场景就是。，其具体的应用场景包括。

但是在一定程度上存在欠拟合的风险，导致决策树生长不够完全。故在实际应用中常使用后剪枝的方法，通过计算子树的损失函数来实现剪枝并得到一个子树序列，然后通过交。，故一般都是采用递归地方式进行选择最优特征，并根据该特征分割训练集，达到构建决策树的目的。故需要使用正则化项对其进行修正，正则化项对应的实际操作为对构建好的决策树进行剪枝。从根结点开始选择一个最优特征进行对数据集的划分为不同的子集，依次同理处理结点即可，直至。信息增益比的定义是将其信息增益与数据集本身关于某一特征取值的熵的比值(，对于结点的类型分为。

推荐系统中的实现方式：一个是基于商品(item-based向你推荐一些有购买偏好的商品或类似商品)，另外一个是基于用户(user-based找到与你喜好相似的用户，然后根据这个用户来向你做推荐)(一次一个根据测试结果选择，直到选择一个最好的k值，其为一种经典的分类方法。在了解KNN原理之前，先了解。一般采用多数表决的方式进行。在上一篇就已经讲解了。

这个公式相当厉害，将其他范数都囊括进来了，比如通过一个p参数就实现将曼哈顿距离、欧式距离、切比雪夫距离包含在内。可以看出当Σ 为协方差矩阵为单位矩阵(样本各特征之间相互独立且方差为1)时，其就变成了欧式距离公式。协方差是衡量两个变量之间的线性关系的统计量，正值表示正相关，负值表示负相关，零表示无线性相关。③马氏距离(Mahalanobis Distance，又称马哈拉诺比斯距离)②闵氏距离(Minkowski Distance，又称闵可夫斯基距离)①欧几里得距离公式(Euclidean Distance)

与LASSO回归类似的方法是Ridge回归，该回归是的损失函数公式是连续且可导的，所以其求解参数的过程比LASSO回归容易(其可以使用梯度下降方法)，但与LASSO回归不同的是Ridge回归参数只是接近0但不等于0，而LASSO回归则直接为0。假设一个函数为L(x,y)，先固定x0，求使得L(y)最小的y1；机器学习是一个大范围，并不是一个小的方向，比如：线性回归预测、卷积神经网络和强化学都是机器学习算法在不同场景的应用。对数分类代码的编写思路：其是感知机模型、神经网络和支持向量机等模型的基础。

（对目标函数后加上正则化项）：使得这个“目标函数+正则化项”的值最小，即为正则化，用防止参数变得过大（参数值变小，意味着对目标函数的影响变小），（简单的模型学不够，复杂的模型学的太多），这里的简单指的是不要过于复杂。欠拟合：训练精度下降，测试精度上升。

所以一般评估模型采用分类准确率acc、精确率P、召回率R来综合来评价一个模型。但是一般来说，精确率P和召回率R会一个高一个低，需要对其进行取舍。所以为了更为全面的评估一个模型的好坏，，使用测试集进行对模型的评估，对测试数据计算测试数据的误差的平方，再取其平均值，也就是。在计算P、R、F值的时，统计的对象可能是TP，也可以是TN。那么我们该如何选择呢？设定过大，会增加时间的耗费。确定一个合适的K值。

那么如何使得其乘积最大，就涉及一个θ参数的调整，如何θ参数能够使得该乘积达到最大，那么就能最近似地说明训练数据。上面提及的最速梯度下降法、随机梯度下降法、小批量随机梯度下降法，都需要考虑一个学习率的问题，这个。因为在回归中涉及微分（求导）计算，而绝对值在有的点中不能计算其导数，还必须分情况讨论，故。当然这里的随机选择数据可以随机选择一个，也可以随机选择多个，随机选择多个的方法叫做。处理连续数据（时间序列数据，即连续观测的数据，非离散的数据）④然后就涉及学习率的问题，这个学习率是作为超参数，