机器学习-K近邻算法

已于 2025-02-09 16:15:52 修改
阅读量464 收藏 1
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 机器学习 文章标签： 机器学习 近邻算法 人工智能
于 2025-01-22 17:55:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45862390/article/details/145307948

文章目录

一. 算法原理

先确定K值， 再计算距离，最后挑选K个最近的邻居进行投票
KNN 算法原理简单，不需要训练，属于监督学习算法，常用来解决分类问题

二. 鸢尾花数据集介绍

鸢尾花数据集
鸢尾花Iris Dataset数据集是机器学习领域经典数据集，鸢尾花数据集包含了150条鸢尾花信息，每50条取自三个鸢尾花中之一：Versicolour、Setosa和Virginica
在这里插入图片描述
每个花的特征用如下属性描述：
在这里插入图片描述

from sklearn.datasets import load_iris
# 1. 准备数据集
iris = load_iris()
iris.data

在这里插入图片描述

iris.target

array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

print(iris.DESCR)

Iris plants dataset

Data Set Characteristics:

:Number of Instances: 150 (50 in each of three classes)
:Number of Attributes: 4 numeric, predictive attributes and the class
:Attribute Information:
    - sepal length in cm
    - sepal width in cm
    - petal length in cm
    - petal width in cm
    - class:
            - Iris-Setosa
            - Iris-Versicolour
            - Iris-Virginica
            
:Summary Statistics:

============== ==== ==== ======= ===== ====================
                Min  Max   Mean    SD   Class Correlation
============== ==== ==== ======= ===== ====================
sepal length:   4.3  7.9   5.84   0.83    0.7826
sepal width:    2.0  4.4   3.05   0.43   -0.4194
petal length:   1.0  6.9   3.76   1.76    0.9490  (high!)
petal width:    0.1  2.5   1.20   0.76    0.9565  (high!)
============== ==== ==== ======= ===== ====================

:Missing Attribute Values: None
:Class Distribution: 33.3% for each of 3 classes.
:Creator: R.A. Fisher
:Donor: Michael Marshall (MARSHALL%PLU@io.arc.nasa.gov)
:Date: July, 1988

三. 鸢尾花KNN

from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier

if __name__ == '__main__':
    # 1. 加载数据集  
    iris = load_iris() #通过iris.data 获取数据集中的特征值  iris.target获取目标值

    # 2. 数据标准化
    transformer = StandardScaler()
    x_ = transformer.fit_transform(iris.data) # iris.data 数据的特征值

    # 3. 模型训练
    estimator = KNeighborsClassifier(n_neighbors=3) # n_neighbors 邻居的数量，也就是Knn中的K值
    estimator.fit(x_, iris.target) # 调用fit方法 传入特征和目标进行模型训练

    # 4. 利用模型预测
    result = estimator.predict(x_) 
    print(result)

array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
       0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
       1, 1, 1, 1, 2, 1, 2, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 1, 1, 1, 1,
       1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 1, 2, 2, 2,
       2, 2, 2, 2, 2, 2, 2, 2, 2, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
       2, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2])

四. k值的选择

KNN算法的关键是,是K值的选择，下图中K=3，属于红色三角形，K=5属于蓝色的正方形。这个时候就是K选择困难的时候。
在这里插入图片描述
KNN 算法中K值过大、过小都不好， 一般会取一个较小的值
采用交叉验证法（把训练数据再分成:训练集和验证集）来选择最优的K值。

#加载数据集
x,y = load_iris(return_X_y=True)
#数据标准化
scaler = StandardScaler()
x_scaled = scaler.fit_transform(x)
#划分数据集
x_train,x_test,y_train,y_test = train_test_split(x_scaled,y,test_size=0.2,random_state=0)
#创建网络搜索对象
knn = KNeighborsClassifier()
param_grid = {'n_neighbors':[1, 3, 5, 7]}
estimator = GridSearchCV(knn, param_grid, cv=5)
#训练模型
estimator.fit(x_train,y_train)
#输出最优参数
#打印最优参数(验证集)
print('最优参数组合:', estimator.best_params_, '最好得分:', estimator.best_score_)

#测试集评估模型(测试集)
print('测试集准确率:', estimator.score(x_test, y_test))

最优参数组合: {'n_neighbors': 7} 最好得分: 0.9416666666666667
测试集准确率: 1.0

五. 手写数字数据介绍

数据文件手写数字识别.csv包含从 0 到 9 的手绘数字的灰度图像。
● 每个图像高 28 像素，宽28 像素，共784个像素。
● 每个像素取值范围[0,255]，取值越大意味着该像素颜色越深
● 数据集共785列。第一列为 “标签”，为该图片对应的手写数字。其余784列为该图像的像素值
● 训练集中的特征名称均有pixel前缀，后面的数字（[0,783])代表了像素的序号。

import pandas as pd

data = pd.read_csv('data/手写数字识别.csv')
data.head()

在这里插入图片描述

data.shape

(42000, 785)

二. 手写数字识别KNN

import matplotlib.pyplot as plt
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
import joblib
from collections import Counter


def show_digit(idx):
      # 加载数据
    data = pd.read_csv('data/手写数字识别.csv')
    if idx < 0 or idx > len(data) - 1:
        return
    x = data.iloc[:, 1:]
    y = data.iloc[:,0]
    print('当前数字的标签为:',y[idx])
    
    # data 修改为 ndarray 类型
    data_ = x.iloc[idx].values
    # 将数据形状修改为 28*28
    data_ = data_.reshape(28, 28)
    # 关闭坐标轴标签
    plt.axis('off')
    # 显示图像
    plt.imshow(data_)
    plt.show()
    

def train_model():

    # 1. 加载手写数字数据集
    data = pd.read_csv('data/手写数字识别.csv')
    x = data.iloc[:, 1:] / 255
    y = data.iloc[:, 0]
    
    # 2. 打印数据基本信息
    print('数据基本信息:', x.shape)
    print('类别数据比例:', Counter(y))

    # 3. 分割数据集
    split_data = train_test_split(x, y, test_size=0.2, stratify=y, random_state=0)
    x_train, x_test, y_train, y_test = split_data

    # 4. 模型训练
    estimator = KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train, y_train)

    # 5. 模型评估
    acc = estimator.score(x_test, y_test)
    print('测试集准确率: %.2f' % acc)

    # 6. 模型保存
    joblib.dump(estimator, 'model/knn.pth')


def test_model():
    # 读取图片数据
    import matplotlib.pyplot as plt
    import joblib
    img = plt.imread('temp/demo.png')
    plt.imshow(img)
    # 加载模型
    knn = joblib.load('model/knn.pth')
    y_pred = knn.predict(img.reshape(1, -1))
    print('您绘制的数字是:', y_pred)

# 显示部分数字
show_digit(1)

当前数字的标签为: 0
在这里插入图片描述

# 训练模型
train_model()

数据基本信息: (42000, 784)
类别数据比例: Counter({1: 4684, 7: 4401, 3: 4351, 9: 4188, 2: 4177, 6: 4137, 0: 4132, 4: 4072, 8: 4063, 5: 3795})
测试集准确率: 0.97

# 测试模型
test_model()

您绘制的数字是: [1]
在这里插入图片描述
啊偶,预测错了

Python从0到100（五十四）：机器学习-K近邻算法及⼿写数字识别数据集分类
全网粉丝10w+，CSDN、稀土掘金人工智能签约作者、专家博主，华为云十佳博主，985人工智能硕士。人工智能、大模型、计算机视觉、Python 爬虫— —商务合作：https://bbs.csdn.net/topics/614347534
08-21 6万+
是⼀种常⽤的监督学习算法，主要⽤于分类和回归问题。KNN的基本原理是基于特征空间中样本点的距离来进⾏预测或分类。对于分类问题，KNN找到与待分类样本在特征空间中最近的K个训练样本，并基于它们的类别标签进⾏投票决策。对于回归问题，KNN找到最近的K个训练样本，并计算它们的平均值或加权平均值来预测待预测样本的数值输出。
机器学习 -- k近邻算法
北堂飘霜_记录
01-04 1107
k近邻算法是一种简单但非常有效的机器学习算法，主要用于分类和回归问题。其核心思想是基于相似性原则进行预测：即相似的数据点具有相似的输出。距离度量：改算法首先计算测试数据与每个训练数据点之间的距离。常用的距离度量方法包括欧氏距离、曼哈顿距离和闵可夫斯基距离。例如：测试样例特征是 [0,0]，样本集特征是 [1,2] 那么距离就是。
机器学习-k近邻算法(kNN算法)及简单实现
m0_52053228的博客
10-26 1170
k-近邻（k-Nearest Neighbor，简称kNN）是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测，选择这k个样本中出现最多的类别标记作为预测结果。，其类型属于图书馆，而k-近邻算法不会，因为在它眼里，建筑类型只有食堂和教学楼，它会提取样本集中特征最相似数据(最邻近)的分类标签，得到的结果可能是食堂，也可能是教学楼，但绝不会是图书馆。开始，随着k的逐渐增大，k近邻算法的分类效果会逐渐提升；
机器学习--K近邻算法，以及python中通过Scikit-learn库实现K近邻算法API使用技巧
景天科技苑
02-07 1974
K Nearest Neighbor算法又叫KNN算法，这个算法是机器学习里面一个比较经典的算法， 总体来说KNN算法是相对比较容易理解的算法。 如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
Python 机器学习 K-近邻算法
weixin_42098295的博客
01-30 1695
它是一种基于实例的学习（Instance-based learning），或者称为懒惰学习（Lazy learning），因为它不会从训练数据中学习一个固定的模型，而是使用整个数据集进行预测。在回归问题中，则通常是这些邻居值的平均值。选取合适的K值是至关重要的，太小的K值会使模型对噪声敏感，而太大的K值可能使模型无法捕捉到数据的特性。参数指定了计算最近邻的方法，可选项包括 'auto', 'ball_tree', 'kd_tree', 'brute'，其中'auto'会自动选择最适合数据的算法。
机器学习算法---K近邻算法
一个人走的博客
02-15 3285
K近邻算法 1. K-近邻算法简介 1.1 什么是K-近邻算法 根据你的“邻居”来推断出你的类别 K Nearest Neighbor算法⼜叫KNN算法，这个算法是机器学习⾥⾯⼀个⽐较经典的算法， 总体来说KNN算法是相对⽐ 较容易理解的算法 如果⼀个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的⼤多数属于某⼀个类别，则该样本也属于这个 类别。 1.1.1 距离公式 两个样本的距离可以通过如下公式计算，⼜叫欧式距离 ，关于距离公式会在后⾯进⾏讨论 1.2 KNN算法流程总结 1）计算
机器学习算法——k-近邻算法
2401_87863416的博客
03-23 1219
k-近邻算法（k-Nearest Neighbor Alogorithm，后简称kNN算法）是机器学习算法中最基础也最简单的算法之一。它是有监督学习中的分类算法，可以用于分类数据和预测结果，通常被用于分类。
机器学习---K近邻算法
weixin_43961909的博客
12-23 1188
对深度为j的节点，split策略，计算split所对应的维度（坐标轴）x（1），以所有实例的x（1）坐标。split策略，计算split所对应的维度（坐标轴）x（1），以所有实例的x（1）坐标内的中位数作为切。略：计算当前数据集上所有维度的方差，取方差最大的维度的标号作为split，对深度为j的节点，选。j+1的左右两个节点，左子节点对应坐标x（1）小于切分点的子区域，右子节点对应坐标x（1）大。k-d树是一种空间划。集的维数为k，一般来说要求数据的规模N满足条件：N远大于2的k次方，才能达到高效的搜索。
机器学习——K-近邻算法（KNN）
CYTLOVELY的博客
11-29 3810
K-近邻算法（K-Nearest Neighbors, 简称 KNN）是一种基于实例的机器学习算法，广泛应用于分类和回归任务。它通过计算数据点之间的相似度（通常是距离度量），然后预测新的数据点的标签或数值。在图像分类任务中，KNN 可以通过计算图像特征向量之间的距离来分类，例如手写数字识别。KNN 可用于垃圾邮件检测，通过比较新邮件和历史邮件的相似性，判断其类别。原则，根据 kkk 个最近邻居的类别进行投票，选出出现最多的类别。基于用户相似度的推荐系统中，KNN 常用于查找兴趣相似的用户群体。
机器学习实战 - k近邻算法（KNN算法）总结
04-12
机器学习实战 - k近邻算法（KNN算法）总结 适合机器学习实战入门新手 K-近邻算法，又称为 KNN 算法，是数据挖掘技术中原理最简单的算法。 KNN 的工作原理：给定一个已知类别标签的数据训练集，输入没有标签的新数据...
机器学习实战-k-近邻算法改进约会网站的配对效果
08-15
在本实践项目中，我们将深入探讨如何利用机器学习中的k-近邻算法（K-Nearest Neighbors，简称KNN）来改进约会网站的配对效果。KNN是一种非参数监督学习方法，常用于分类和回归任务。在这个案例中，我们将关注其在...
机器学习-k近邻算法模型评估
m0_74216325的博客
04-15 846
模型评估是指对机器学习或统计模型进行性能评估和验证的过程。通过模型评估，可以较好的发现模型的不足之处，评估模型验证的准确度，并为进一步改进模型提供指导。模型评估常见的方法有：交叉验证，留出集验证等方式，不同的验证方法有其自身的优缺点。在本次模型评估实验中，通过留出法，将数据集分为测试集和训练集，将待测数据中的每个元素利用第二节的knn算法进行标签预测，并匹配待测数据的标签是否和给定的标签相一致，如果一致就用计数器变量记录下来，反之丢弃。
机器学习--决策树2
JYB0918的博客
08-19 530
决策树的进化之路：从ID3到CART的算法优化 决策树算法经历了从ID3到C4.5再到CART的演进过程，逐步解决了前代算法的局限性。ID3采用信息增益划分节点，但容易偏好多值特征；C4.5引入增益率进行平衡；CART则改用计算更简单的基尼指数。针对连续值特征，决策树通过离散化处理实现有效划分。此外，预剪枝和后剪枝技术能有效防止过拟合。实际应用中，合理设置criterion、max_depth等参数对模型性能至关重要。这些算法改进体现了机器学习追求简单而准确的核心思想。
线性回归笔记
最新发布
2402_88703635的博客
08-22 551
线性回归是一种基于最小二乘法的预测建模技术，通过构建自变量与因变量的线性关系进行预测。文章介绍了线性回归的核心思想、一般形式、评估指标（SSE、MSE、R²）和参数估计方法，重点阐述了多元线性回归与简单线性回归的区别与联系。线性回归具有解释性强、计算高效的优点，广泛应用于房地产定价、医学研究和市场营销等领域。最后说明了sklearn库中线性回归算法的实现方法及其参数作用。
【知识杂记】方差、标准差、均方误差、均方根误差与平均绝对误差，概念、计算公式、物理意义
qq_45976653的博客
08-20 595
摘要 方差和标准差衡量数据围绕平均值的离散程度，其中标准差还原了原始单位。均方误差（MSE）和均方根误差（RMSE）评估预测值与真实值的偏差，RMSE解决了MSE单位不一致的问题。平均绝对误差（MAE）使用绝对值计算误差，对异常值更稳健。MSE和RMSE对大误差敏感，而MAE虽鲁棒但不可微。这些指标在统计分析和机器学习中各有优劣，需根据具体场景选择使用。
【机器学习】SMOTE(Synthetic Minority Over-sampling Technique)，合成少数类过采样是什么？
weixin_44174312的博客
08-19 939
SMOTE（合成少数类过采样技术）是一种用于解决类别不平衡问题的算法，通过为少数类生成合成样本来提高分类器的召回率和macro-F1值。其核心原理是在少数类样本及其近邻之间线性插值生成新样本。适用于连续数值特征且类别极不平衡的场景，但需注意可能增加误报率（FPR）或放大噪声。使用时需避免数据泄漏，可通过imblearn.Pipeline实现。变体如SMOTE-NC适用于混合特征，Borderline-SMOTE关注类边界，SMOTEENN可清洗噪声。在课题中，SMOTE能提升分类效果，但需权衡FPR与运行代
机器学习经典算法总结：K-Means聚类与集成学习（Bagging, Boosting, Stacking）
2201_75691511的博客
08-21 714
聚类是一种无监督学习方法，目标是将相似的数据点划分为同一组，不相似的数据点划分到不同组。难点在于：如何评估聚类效果、如何选择合适的聚类数目K、如何定义“相似性”。集成学习通过结合多个弱学习器构建一个强学习器，提升模型的泛化能力和鲁棒性。算法类型代表算法特点适用场景聚类K-Means无监督，简单高效数据分群、图像分割集成学习-Bagging随机森林并行、抗过拟合、可解释性强分类、回归、特征选择集成学习-BoostingAdaBoost串行、调整权重、强分类器二分类、异常检测。
数据预处理通关指南：从混乱到有序，为机器学习铺路
ts18648100255的博客
08-20 529
先理解数据：缺失值是随机还是有规律？特征的物理含义是什么？结合业务场景：填充策略、标准化方法需匹配业务目标（如预测房价和预测疾病的预处理重点不同）。工具选对事半功倍pandas适合数据清洗，的模块适合标准化建模流程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值