机器学习期末突击笔记

机器学习基础概览：监督、无监督、线性模型与评估

最新推荐文章于 2024-12-09 19:39:09 发布

原创

最新推荐文章于 2024-12-09 19:39:09 发布 · 748 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #笔记 #人工智能

01 基础术语

监督学习和无监督学习

	特点	算法
监督学习	从有标签的训练数据中学习模型，利用模型预测新数据的标签训练阶段标签已知，预测阶段标签未知	回归（标签为连续值）：线性回归、逻辑回归分类（标签为离散值）：决策树，KNN，朴素贝叶斯
无监督学习	从无标签的训练数据中学习模型，揭示数据的内在性质和规律训练和预测阶段标签均未知	聚类：K-means，PCA
强化学习	用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题

归纳偏好

学习过程当中对某种类型假设的偏好
具体的现实问题中，学习算法本身所做的假设是否成立，也即算法的归纳偏好是否与问题本身匹配，大多数时候直接决定了算法能否取得好的性能。
奥卡姆剃刀：选择最简单的那一个
没有免费的午餐：一个算法在一个模型上好，必然在某写问题上不如其他

０2线性回归

线性回归：

回归问题：研究输入变量和输出变量之间的关系。
回归模型：表示从输入变量到输出变量之间的映射函数
线性回归：通过属性的线性组合来进行预测的线性模型。
f(x)=w1x1+w2 x2+⋯+wd xd+b
目标：最小化预测值和真实值之间的误差
均方误差（MSE）最小化

损失函数：度量单样本预测的错误程度，损失函数值越小，模型就越好。
代价函数：度量全部样本集的平均误差。
目标函数：代价函数和正则化函数，最终要优化的函数。