k-近邻算法

一、k-近邻算法介绍

        K-近邻算法（K-Nearest Neighbors，简称KNN）是一种基本且广泛使用的监督学习算法，主要用于分类和回归问题。它是一种基于实例的学习或懒惰学习算法，因为其核心思想是在预测时才进行计算，而不是在训练阶段。

二、k-近邻算法原理概述

2.1算法原理

KNN算法的核心思想是“物以类聚”，即相似的事物倾向于聚集在一起。对于一个给定的数据点，算法会找到训练数据集中与其最相似的K个邻居。这里的“相似”是通过某种距离度量（如欧氏距离）来定义的。然后，算法根据这K个邻居的标签来预测数据点的标签。

2.2算法步骤

1. 确定参数K的值：K代表的是邻居的数量，即一个未知样本周围距离最近的K个已知样本。

2. 计算距离：计算未知样本与所有已知样本之间的距离。常用的距离计算方法包括欧氏距离、曼哈顿距离和明可夫斯基距离等。

3. 找到最近的K个邻居：根据计算出的距离，确定距离最近的K个样本，这些样本的类别已知。

4. 进行投票：在分类任务中，K个最近邻居中出现次数最多的类别将被认为是未知样本的类别。在回归任务中，通常是取这K个最近邻居的输出的平均值作为预测值。

5. 输出预测结果：根据上述投票或平均值，输出最终的预测结果。

2.3距离计算

1. 欧氏距离（Euclidean Distance）：

   • 最常用的距离度量方法，适用于多维空间中的直线距离计算。
   • 计算公式为：