ISLR读书笔记终

原创 于 2020-10-25 15:52:27 发布 · 301 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

花了一个月左右的时间，统计学习暂告一段落。接下来准备去Kaggle上找点项目练练手，有时间的话再看一下NLP。

ISLR 读书笔记二：评估模型的准确性
weixin_43084570的博客
09-22 857
评估模型的准确性MSE偏差 VS 方差分类问题贝叶斯分类器KNN 统计学习中，有一条天下没有免费的午餐定理：没有哪一个方法可以对任何数据集，都胜过其他任何方法。所以，在具体实践中，选择最好的方法，成为了一个具有挑战性的问题。但是要如何比较模型的好坏呢？以下就介绍了一些评估模型好坏的概念。 MSE MSE是均方误差（mean squared error）的缩写，用来刻画模型拟合程度的好坏，多用于线性回归模型。 MSE=1n∑i=1n(yi−f^(xi))2MSE=\frac{1}{n}\sum_{i=1}^n
ISLR 读书笔记三：简单线性回归
weixin_43084570的博客
09-23 396
简单线性回归参数估计参数准确性评价模型准确性评价RSER2R^2R2统计量 线性回归是一类最简单常见的监督学习方法，它假设 fff 是线性形式。 线性回归可以回答以下7个问题： 自变量 XXX 与 因变量 YYY 之间是否有关系？ 自变量 XXX 与 因变量 YYY 之间的关系有多强 ？ 哪些 XiX_iXi​ 对因变量 YYY 有影响？ 如何准确评估每一个 XiX_iXi​ 对因变量 YYY 的影响？ 如何准确预测因变量 YYY ? 自变量 XXX 与 YYY 之间是线性的吗？ 自变量 XiX_iXi​
ISLR读书笔记(1)统计学习简介
热门推荐
bit_hammer
06-16 1万+
欢迎访问个人主页,目前访问量太低，百度搜不到的说。。。谢谢鼓励读书笔记。并不打算翻译全文，打算将书中重要的知识点结合自己的理解将其分享，并在最后附上R语言相关函数应用，作为自己最近一段时间在机器学习方面学习总结。如果理解不正确，望指正。
ISLR学习笔记
weixin_30786617的博客
10-29 1326
目录 C1 Introduction to Statistical Learning 1.1Statistical Learning介绍: 1.1.1 估计 \(f\) 的目的：prediction和/或inference。 1.1.2 估计 \(f\) 的方法：parametric 或 non-...
ISLR读书笔记(3)分类
bit_hammer
06-18 3101
读书笔记，并不打算翻译全文，打算将书中重要的知识点结合自己的理解将其分享，并在最后附上R语言相关函数应用，作为自己最近一段时间在机器学习方面学习总结。如果理解不正确，望指正。
ISLR读书笔记九：自助法（bootstrap）
weixin_43084570的博客
10-10 623
自助法是一类应用很广的统计方法，可以用来定量化参数估计或者统计学习方法的不确定性。自助法重复地从原数据集中采样，这里采样是可放回的（replacement），可以允许有同样的样本出现，然后用得到的样本进行参数估计。 举一个例子来说明自助法的应用。假设有 XXX 和 YYY 两种不同的金融资产，现要对 XXX 和 YYY 进行投资，使得总风险最小。假设有 α\alphaα 投给了 XXX， 1−α1-\alpha1−α 投给了 YYY，那么总风险就是 Var(αX+(1−α)Y)Var(\alpha X+(1
ISLR 读书笔记零：统计学习和ISLR简介
weixin_43084570的博客
09-20 884
统计学习和ISLR简介前言统计学习简介概述历史ISLR简介后记 前言 本篇文章是我学习 An introduction to Statistical Learning with Application in R （以下简称 ISLR）的第一篇文章，主要介绍了统计学习和ISLR，后续会不定期更新。 统计学习简介 概述 统计学习（statistical learning）是一系列用来理解数据的方法。这些方法主要可以分为两类： 监督学习 （supervised learning ） 非监督学习 （unsuper
ISLR读书笔记七：线性判别分析（LDA）
weixin_43084570的博客
10-01 1736
线性判别分析（LDA）前言单变量的LDA多变量的LDA二次判别分析（QDA） 前言 线性判别分析（linear discriminant analysis，简称LDA）是一种解决分类问题的方法。上一篇文章中讲到的逻辑斯蒂回归是处理分类问题的一个很好的模型，那么为什么还需要LDA呢？主要有以下三个原因： 当类分离得很好的时候，逻辑斯蒂回归的参数估计很不稳定，而LDA不会存在这个问题。 当 nnn 很小，而自变量 XXX 的分布大致服从正态分布时，LDA比逻辑斯蒂回归更稳定 LDA比逻辑斯蒂回归更适合处理多分
ISLR读书笔记十六：最大边际分类器（maximal margin classifier）
weixin_43084570的博客
10-17 2459
最大边际分类器前言超平面分离超平面最大边际超平面 前言 本篇和接下来的两篇将介绍一种重要的分类方法：支持向量机（support vector machines）。本篇主要讲的是最大边际分类器（maximal margin classifier），是支持向量机的基础。接下来两篇将分别介绍支持向量分类器（support vector classifier）、支持向量机（support vector machines）。 超平面 超平面（hyperplane）指的是 ppp 维空间的 p−1p-1p−1 维线性子
ISLR读书笔记十：模型选择——子集选择法（subsect selection）
weixin_43084570的博客
10-11 1994
模型选择——子集选择法前言最优子集法逐步选择法向前逐步选择向后逐步选择混合逐步选择如何评价最优 前言 这篇文章主要讲的是模型选择（model selection）中的一类方法：子集选择法（subsect selection），接下来两篇文章将介绍模型选择的其他两类方法：收缩法（shrinkage）和降维法（dimension reduction）。 首先为什么要进行模型选择呢？以线性回归模型为例，主要出于预测准确性（prediction accuracy）和模型解释度（model interpretabil
ISLR读书笔记十一：模型选择——收缩法（shrinkage methods）
weixin_43084570的博客
10-11 1421
模型选择——收缩法岭回归（ridge regression）Lasso调参 收缩法是另外一类模型选择的方法。收缩法将所有 ppp 个自变量进行拟合，但是将某些自变量的系数收缩到 0。主要有 ridge regression 和 lasso 两种方法。 岭回归（ridge regression） 线性回归模型中，最小化RSS： RSS=∑i=1n(yi−β0−∑j=1pβjxij)2RSS=\sum_{i=1}^n(y_i-\beta_0-\sum_{j=1}^p\beta_jx_{ij})^2RSS=i=1
ISLR读书笔记十七：支持向量分类器（Support Vector Classifier）
weixin_43084570的博客
10-20 1382
上一篇讲到的最大边际分类器存在两个问题： 无法解决线性不可分的情况，即如果不存在分离平面，那么最大边际分类器就失效了。 鲁棒性较差。如果添加一个观测数据，可能会导致最大边际超平面产生较大变化。 针对这两个问题，引入支持向量分类器（Support Vector Classifier）。其大致思想是：以小范围的错误，换取更大范围的正确。即边际未必完美地将数据分离成两类，允许犯错，允许一些数据错误地划分到边际的一边，甚至允许一些数据错误地划分到超平面的一边，以牺牲小部分分类错误为代价，建立一个更加
ISLR读书笔记十二：模型选择——降维法（dimension reduction methods）
weixin_43084570的博客
10-13 851
模型选择——降维法前言PCRPLS 前言 前面介绍的两类模型选择的方法，都保留了原始的自变量，而降维法则对原始自变量进行了转化，其大致思想是将原来的 ppp 个自变量，整合成 MMM 个自变量（M<pM<pM<p）。 若令 Z1,Z2,⋯，ZMZ_1,Z_2,\cdots，Z_MZ1​,Z2​,⋯，ZM​ 表示 ppp 个 原始自变量的 MMM 个线性组合，即 Zm=∑j=1pϕjmXjZ_m=\sum_{j=1}^p\phi_{jm}X_jZm​=j=1∑p​ϕjm​Xj​ 然后对这
ISLR读书笔记十九：主成分分析（PCA）
weixin_43084570的博客
10-23 822
前面写的一些统计学习方法都是属于监督学习（supervised learning），这篇主成分分析（principal components analysis，简称 PCA ）和下一篇聚类分析（clustering）都是属于非监督学习（unsupervised learning）。 之前 ISLR读书笔记十二 中已经提到过主成分这一概念。其主要目的是利用一小部分数据组合，尽可能多地体现 全部数据的特征，从而实现降维的作用。 这里的 尽可能多地体现 可以有两种解读： 数据方差最大 最近似。 ...
ISLR读书笔记十四：决策树（decision tree）
weixin_43084570的博客
10-15 790
决策树回归树分类树优缺点 回归树 基本思想： 将自变量 X1,X2,⋯ ,XpX_1,X_2,\cdots,X_pX1​,X2​,⋯,Xp​ 构成的空间，划分成 JJJ 个不同的区域 R1,R2⋯ ,RJR_1,R_2\cdots,R_JR1​,R2​⋯,RJ​ 对于落入 RjR_jRj​ 中的每一个数据，用该区域内因变量的均值，作为预测值。 例子： 假设棒球运动员的薪水与球龄和击打数有关，可以用如下简单的决策树方法，根据球龄和击打数来预测薪水。 术语： 这里 R1,R2,⋯ ,RJR_1,R_2,\
ISLR读书笔记二十：聚类分析（Clustering）
weixin_43084570的博客
10-25 748
123
ISLR 读书笔记一：什么是统计学习？
weixin_43084570的博客
09-22 596
什么是统计学习？引入统计学习的定义为什么要估计fff预测推断如何估计fff权衡监督 VS 非监督回归 VS 分类 引入 作者是数学本科出身。本科学习数学，教会我的最大一点就是，学习任何一门课程，最重要也是最基本的一点，就是掌握每一个基本概念的定义。因为任何性质，定理，都是建立在这些定义之上的，这些定义正是这门课程的基石。我觉得学习其他学科，同样也是如此。所以，我想先从统计学习的定义写起。可能需要一点多元微积分的背景知识。 统计学习的定义 Y=f(X)+ϵY=f(X)+\epsilonY=f(X)+ϵ 这里X
ISLR读书笔记八：交叉验证法（Cross-Validation）
weixin_43084570的博客
10-06 571
交叉验证法（Cross-Validation）前言校验集方法留一法k折交叉验证 前言 校验集方法 留一法 k折交叉验证
ISLR读书笔记六：逻辑斯蒂回归（logistic regression）
weixin_43084570的博客
09-29 563
逻辑斯蒂回归前言逻辑斯蒂模型估计回归系数预测多元逻辑斯蒂回归 前言 之前几篇讲的线性回归处理的是回归问题，这一篇逻辑斯蒂回归（logistic regression）和下一篇线性判别分析（linear discriminant analysis）处理的是分类问题。 那么为什么不能用线性回归模型来解决分类问题呢？主要有以下三个原因： 假设因变量有三个类：狗、猪、人。将狗赋值为1，猪赋值为2，人赋值为3。这种赋值方式默认了狗、猪、人是有顺序的。而且狗与猪之间的差距=猪与人之间的差距=1，这显然是有问题的。 没
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值