机器学习 -- 简析KNN（k近邻算法）

一般情况下，只选择样本数据集中最相似的前k个数据，并且选择k中出现次数最多的类别作为新数据的类。

2. 算法过程

输入：有标签的样例

输出：新样例的预测标签

（1）对于给定的距离，找到预测样本的k个最近的邻居，放入到Nk(x)中

（2）在Nk(x)中依据分类规则（如投票）判断新样例的预测类型

3. 算法优缺点

优点：

（1）算法简单，理论成熟，可用于分类和回归。

（2）对异常值不敏感。

（3）可用于非线性分类。

（4）比较适用于容量较大的训练数据，容量较小的训练数据则很容易出现误分类情况。

（5）KNN算法原理是根据邻域的K个样本来确定输出类别，因此对于不同类的样本集有交叉或重叠较多的待分样本集来说，KNN方法较其他方法更为合适。

（6）对数据类型（图片，文本，视频）不做限制

缺点：

（1）时间复杂度和空间复杂度高。（训练复杂度为0，但测试耗时，需要计算很多距离，还要相应存储，再选出最小的k个距离）

（2）训练样本不平衡，对稀有类别的预测准确率低。

（3）相比决策树模型，KNN模型可解释性不强。

三、KNN模型

k近邻模型对应一个特征空间划分。每个样例是最小的单元，对应一个类别。

要点：

（1）距离度量Distance metric

（2）k值的选择Choice of k value

（3）分类规则Classification decisio