四月晴

文章来源周志华老师西瓜书106页

原文请点击简单描述问题给定一个样本集，每个样本点有两个维度值（X1，X2）和一个类别值，类别只有两类，我们以0和1代表。数据如下所示： 样本 X1 X2 类别 1 -1.4 4.7 1 2 -2.5 6.9 0 … … … …机器学习的任务是找一个函数，给定一个数据两个维度的值，该函数能够预测其...

原文请戳简介逻辑回归是面试当中非常喜欢问到的一个机器学习算法，因为表面上看逻辑回归形式上很简单，很好掌握，但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归，非常容易被问倒，从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候，经常遇到的一些问题。正式介绍如何凸显你是一个对逻辑回归已经非常了解的人呢。那就是用一句话概括它！逻辑回...

上一篇请戳支持向量机2在上一篇中，我们由于要最大化间隔故推导出最终要处理的公式为 minω,b12||ω||2yi(ωTxi+b)>=1,i=1,2,3...m.(2.1)(2.1)minω,b12||ω||2yi(ωTxi+b)>=1,i=1,2,3...m.

在机器学习中，很多情况下我们想要优化一个函数。举个例子：给定一个函数 f：Rn−>Rf：Rn−>Rf：R^n ->R，我们要找到一个x∈Rnx∈Rnx\in R^n使得f(x)f(x)f(x)取得最大值/最小值。通常来说，找到一个全局最优解是困难的。但是，对于凸优化问题，局部最优解便是全局最优解。凸集在进行凸优化之前，首先我们要知道什么是凸集。定义：如果集合C是一个凸集...

补充点上一篇博客没有提到的知识点多分类学习现实生活中常遇到很多多分类学习任务，有些二分类学习方法可以直接推广到多分类，但在现实更多情形下，我们是基于一些策略，利用二分类学习器来解决多分类问题。利用二分类学习器进行的多分类学习可以分为三种策略：一对一 （One vs One）一对其余 （One vs Rest）多对多 （Many vs Many）一对一 （One vs...

支持向量机1——间隔和支持向量 支持向量机2——对偶问题

很多情况下，一个分离超平面并不能完全将训练数据分成两部分。那么我们这是可以允许出现一些误差。故引入松弛因子。 参考资料1.https://blog.csdn.net/luoshixian099/article/details/51073885#comments...

间隔和支持向量给定训练样本集D={(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}{(x1,y1),(x2,y2),...,(xm,ym)},yi∈{−1,+1}\left\{(x_1, y_1),(x_2,y_2),...,(x_m, y_m)\right\},y_i∈\left\{-1, +1\right\}。分类学习最基本的思想就是基于训练集D在样本空间中找...

为什么引入非线性激励函数 如果不用激励函数，在这种情况下你每一层输出都是上层输入的线性函数，很容易验证，无论你有多少层神经网络，输出的都是输入的线性组合。 所以我们引入非线性函数作为激励函数。这样深层神经网络就有意义了，不再是输入的线性组合，可以逼近任意函数。最早使用的是sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。为什么引入Relu呢 第一，采用sigmoid函...

深度学习中损失函数是整个网络模型的“指挥棒”， 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。分类任务的损失函数假设某分类任务共有N个训练样本，针对网络最后分层第 i 个样本的输入特征为 XiXiX_i ，其对应的标记为YiYiY_i是最终的分类结果（C个分类结果中的一个），h=（h1,h2,...,hch1,h2,...,hch_1, h_2,...,h_c）为网络的最...

原文请点击 关于最小二乘问题的求解，之前已有梯度下降法，还有比较快速的牛顿迭代。今天来介绍一种方法，是基于矩阵求导来计算的，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。在开始之前，首先来认识一个概念和一些用到的定理。矩阵的迹定义如下：一个 n*n 的矩阵的迹是指的主对角线上各元素的总和，记作tr(A)tr(A)tr(A)。即 tr(A)=∑i=1naiitr(A)=...

激活函数激活函数又称“非线性映射函数”，是深度卷积神经网络中不可或缺的模块。可以说，深度网络模型强大的表示能力大部分便是由激活函数的非线性单元带来的。这部分共介绍7个激活函数：Sigmoid函数，tanh函数，Relu函数，Leaky Relu函数，参数化Relu，随机化Relu和指数化线性单元（ELU）。Sigmoid型函数sigmoid函数也称Logistic函数：σ(x)...

单元测试中出错的题目 .Suppose m=4 students have taken some class, and the class had a midterm exam and a final exam. You have collected a dataset of their scores on the two exams, which is as follows:midterm ex

K近邻算法 (KNN)KNN 的原理存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签， 即我们知道样本集中每一数据与所属分类的对应关系。 输入没有标签的新数据之后 （测试集）， 将新数据的每个特征与样本集中数据对应的特征进行比较， 然后算法提取样本集中特征最相近（最近邻）的分类标签。 一般来说， 我们只选择样本数据集中前k个最相近的数据， 这就是k-近邻算法中k的出处...

决策树（decision tree）决策树就是用树状结构来进行分类的一种机器学习算法，是有监督学习的一种。决策树的构造优点：计算法复杂度不高，输出结果易于理解，对中间值的缺失不敏感，可以处理不相关特征数据。缺点：可能产生过度匹配问题适用数据类型： 数值型（数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)） 标称型（...

输入归一化在图像处理中，图像的每一个像素信息同样可以看作一种特征。在实践中，对每个特征减去平均值来中心化数据是非常重要的。这种归一化处理的方式被称为“中心式归一化。卷积神经网络中的数据预处理通常是计算训练集图像像素均值，之后再处理训练集，验证集和测试图像使需要分别减去该均值。我们默认自然图像是一类平稳的数据分布（即数据的每一个维度的统计都服从相同分布），此时，在每个样本上减去数据的统计平均值可...

网络参数初始化神经网络模型一般依靠随机梯度下降进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛结果实际上又很大程度取决于网络参数的最开始的初始化。理想的网络参数初始化使模型训练事半功倍，相反，糟糕的初始化方案不仅会影响网络收敛，甚至会导致梯度弥散或爆炸。网络初始化的方案全零初始化当网络达到稳定状态时， 参数（权值）在理想情况下应该保持正负各半（此时期望为0）...

决策树接着上篇文章决策树1基尼指数CART（classification and regression tree）决策树使用“基尼指数”来选择划分属性，数据集的纯度此时用基尼值来度量：Gini(D)=∑γk=1∑k′!=kpkp′kGini(D)=∑k=1γ∑k′!=kpkpk′Gini(D) = \sum_{k=1}^{\gamma}{\sum_{k' != k }}{p_kp_...

模型集成方法集成学习（ensemble learning）是机器学习中一类学习算法，值训练多个学习器并将它们组合起来使用的方法。这类算法通常在实践中会取得比单个学习器更好的预测结果。数据层面的集成方法在训练阶段的数据扩充在测试阶段仍然使用。 诸如图像多尺度， 随机扣取等。以随机扣取为例， 对某张测试图片可得到n 张随机扣取图像，测试阶段只需要用训练好的深度网络模型对n张图分别做预测...

贝叶斯的先导知识，请戳贝叶斯分类器2贝叶斯决策论贝叶斯决策论是根据我们已知的一些概率信息和误判的损失来选择最优的类别。什么是已知的概率信息？ 举一个贝叶斯先导知识里的例子：设有外形完全相同的两个箱子，甲箱中有99个白球和一个黑球，乙箱有99黑球和一个白球。今随机抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪个箱子中取出的？ 那么甲箱中抽取白球的概率99%，乙箱中...

基于概率论的分类方法：朴素贝叶斯条件概率所谓条件概率，它是指某事件B发生的条件下，求另一事件A的概率，记为P(A|B)P(A|B)P(A|B)，它与P(A)P(A)P(A)是不同的两类概率。举例： 考察有两个小孩的家庭， 其样本空间为Ω=[bb,bg,gb,gg]Ω=[bb,bg,gb,gg]\Omega = {[bb, bg, gb, gg]}, 其中b 代表男孩，g代表女孩，b...

转载自：https://blog.csdn.net/l691899397/article/details/52250190池化层的输入一般来源于上一个卷积层，主要的作用是提供了很强的鲁棒性。（例如max-pooling是取一小块区域中的最大值，此时若此区域中的其他值略有变化，或者图像稍有平移，pooling后的结果仍不变），并且减少了参数的数量，防止过拟合现象的发生。池化层一般没有参数，所以反...