台大机器学习基石
关注
分享
扫一扫
文章平均质量分 88
ZayneHuang
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
台大机器学习基石 Lecture 3 - Types of Learning
本章主要讲了不同的学习方法，主要有Output Space, Data Label, Protocol, Input Space四个方面。在上图[ ]以及后文中黄色标记的内容为本课程中主要讲解的内容。Learning with Different Output Space binary classification: multiclass classification: r...原创 2018-07-24 15:49:50 · 174 阅读 · 0 评论 -
台大机器学习基石 Lecture 15 - Validation
本次Lecture介绍了通过validation的方法来帮助我们选择模型并在没有测试集的情况下评价模型好坏，保证训练的模型有良好的泛化能力。Model Selection Problem上面这幅图就说明，就算是一个最简单的二元分类问题，都要涉及算法A、迭代次数T、步长、特征转换方法、正则regularizer、正则参数这些选择，他们叠加起来会形成不同的机器学习效果，因此我们要找到合...原创 2019-02-25 22:25:03 · 255 阅读 · 0 评论 -
台大机器学习基石 Lecture 13 - Hazard of Overfitting
本次Lecture主要介绍机器学习中很重要的问题：过拟合（overfitting），并且介绍了部分解决过拟合问题的方法。What is Overfitting?先通过一个例子来介绍bad generalization。假设平面上有5个点，目标函数是2阶多项式：如果hypothesis是二阶多项式加上一些小的noise的话，那么这5个点很靠近这个hypothesis，很小。...原创 2018-08-08 21:59:59 · 1027 阅读 · 0 评论 -
台大机器学习基石 Lecture 10 - Logistic Regression
这次Lecture讲的是另一种回归方法——逻辑回归（Logistic Regression），虽然说的是回归问题，但它其实是一个‘软’分类，本次课介绍了逻辑回归的方法、错误衡量方法、求解最优的方法。Logistic Regression Problem之前提过的二元分类器如PLA，其目标函数为，，是一个“硬”的分类器。而Logistic Regression的输出是的概率，因此Logi...原创 2018-08-02 17:44:57 · 225 阅读 · 0 评论 -
台大机器学习基石 Lecture 14 - Regularization
本次Lecture主要讲解了解决overfitting问题的方法——Regularization正则化Regularized Hypothesis Set我们在上节课知道，当用一个高次的多项式对target function进行拟合的时候，就会出现小而大的情况，这就是过拟合（overfitting）。而当用较低次的多项式进行拟合的时候，就能够得到左边这样比较良好的效果。于是，这...原创 2018-08-12 19:34:24 · 265 阅读 · 0 评论 -
台大机器学习基石 Lecture 12 - Nonlinear Transformation
本次Lecture主要是讲述如何将非线性问题变成线性问题来求解。Quadratic Hypotheses我们之前看到的都是线性的得分函数，这样在二维上是一条直线，三维上是一个平面。在不具有线性性质的情况下，尽管比较小，能保证，但是在一些数据上会很大，这样的结果就不太理想了。 就像在上图的左图中，我们可以用一个圆来划分，圆形内部是正类，外面是负类。假设它的hypotheses...原创 2018-08-06 22:03:24 · 189 阅读 · 0 评论 -
台大机器学习基石 Lecture 11 - Linear Models for Classification
这次Lecture总结比较了已经学习的三种模型优缺点，引入SGD来优化Logistic Regression，讲解了Multiclass Classification中的OVA和OVO方法。Linear Models for Binary Classification之前三种线性模型都是对样本特征x的加权运算，我们引入一个线性得分函数（linear scoring function）s...原创 2018-08-05 20:37:14 · 291 阅读 · 0 评论 -
台大机器学习基石 Lecture 9 - Linear Regression
这节课开始介绍一些常见算法，这次Lecture介绍了最常见的Linear Regression线性回归算法。Linear Regression Problem在Linear Regression模型下的hypothesis为，特征集为d维，加上常数项后就为d + 1维（所以注意i从0开始）。在线性回归中，误差的衡量常采用平方误差（squared error）：，相关的记号已经在上一节课...原创 2018-08-01 21:25:59 · 413 阅读 · 0 评论 -
台大机器学习基石 Lecture 6 - Theory of Generalization
这节课基于上节课与break point的关联，研究了的上界是否为多项式的问题，得到结论为多项式上界，并将其代入Hoeffding不等式，得到VC Bound，证明只要break point存在，机器学习就是可行的。Restriction of Break Point我们先看一下四个成长函数与break point的关系：成长函数是一个hypothesis在N个数据点上可以产生...原创 2018-07-28 10:17:08 · 308 阅读 · 0 评论 -
台大机器学习基石 Lecture 8 - Noise and Error
本次Lecture主要讲了在存在Noise噪声的情况下，是否能够进行机器学习，VC Dimension是否还有作用，并且介绍了一些评价Model的Error度量方法，这是要根据实际问题来确定的。Noise and Probablistic Target数据集D存在噪声的情况下，是否还能学习呢？Noise主要来源于以下三种—— 由于人为因素，正类被误分为负类，或者负类被误分为正...原创 2018-07-30 22:12:08 · 288 阅读 · 0 评论 -
台大机器学习基石 Lecture 5 - Training versus Testing
本次Lecture先将之前一部分对“When Can Machines Learn”中的内容梳理了一下，归结为机器学习的两个核心问题：？？然后研究在无限hyphothesis set上如何归类，成为一个在有限的M上（也就是）的问题，并且试图求出，并探讨其什么时候是非指数形式，这样机器学习才有效。Recap and Preview我们在之前的课程中得出的结论：只要数据集足够大，hypho...原创 2018-07-27 15:37:39 · 214 阅读 · 0 评论 -
台大机器学习基石 Lecture 4 - Feasibility of Learning
这次Lecture主要讨论的是有限假设下的机器学习可行性。我们为什么能通过算法选出的定作，而又为什么一定与相接近呢？Learning is Impossible?这一部分主要讨论了这么一个问题：能够在数据集上满足的是否一定能有？上图就说明了，在以外的数据中更接近目标函数是不确定的，而我们希望机器学习能做到所选模型能在数据集之外也有与真实结果一致的预测结果，而不是仅限于数据集中。...原创 2018-07-26 20:24:08 · 212 阅读 · 0 评论 -
台大机器学习基石 Lecture 2 - Learning to Answer Y/N (PLA)
Perceptron Hypothesis SetPerceptron : 感知机对于一个假设h(x)，结果与权值w和阈值threshold有关。sign(x)函数表示：sign(x > 0) = +1, sign(x < 0) = -1。对二元的h(x)，形成如下线性分类：由此，感知机模型成为了一个线性（二分）分类器（linear/binary class...原创 2018-07-21 10:43:22 · 235 阅读 · 0 评论 -
台大机器学习基石 Lecture 1 - The Learning Problem
What is Machine LearningDefenition:Improving some performance measure with experience computed from data. An alternative route to build complicated systems.Key Essence:exists some ‘underl...原创 2018-07-20 17:55:17 · 149 阅读 · 0 评论 -
### 台大机器学习基石 ###
从今天开始学习Coursera上台大的机器学习课程，课程主要由两个部分组成——机器学习基础 & 机器学习技巧，小白先从基础开始吧~贵在坚持！video & handout : https://pan.baidu.com/s/10IJSjSDtBLxNss1THho-hQ...原创 2018-07-20 14:01:19 · 141 阅读 · 0 评论 -
台大机器学习基石 Lecture 7 - The VC Dimension
本次Lecture主要介绍VC Dimension，从non-break point的角度来看之前break point对VC Bound的影响。最终得出结论要选择合适的来同时保证较小的和较低的模型复杂度。Recap通过上节课的证明，我们知道了有多项式上界，这是在的条件下的。我们又得到了VC Bound，这是在M无限的前提下的Hoeffding不等式，那么我们将代入VC Bound...原创 2018-07-28 17:20:18 · 288 阅读 · 0 评论 -
台大机器学习基石 Lecture 16 - Three Learning Principles
本次Lecture介绍了机器学习中比较常用的三个“锦囊妙计”。Occam's Razor奥卡姆剃刀定律（Occam’s Razor），总结而言就是“如无必要，勿增实体”，要用尽可能简单且有好效果的方法来处理数据。那么就有两个问题：什么样的模型是“简单的”？简单的模型一方面指hypothesis比较简单，也就是模型的参数比较少；另一方面指模型的hypotheses有限不太多。这两者是...原创 2019-02-26 00:24:37 · 255 阅读 · 0 评论