统计学习方法EM算法的错误指出

正确打开形式：从尾往上查，直到自己版本的书时修改版为止。参考：李航统计学习方法修正

去年刚接触机器学习时拜读过李航老师的统计学习方法，很有收获。 最近看到李航老师更新了新的勘误表，转载作为收藏 原文链接 http://blog.sina.com.cn/s/blog_7ad48fee01017dpi.html#cmt_3285959

1.EM是什么 1.1 E：求期望 1.2 M：极大 2. 代码

EM算法的简介 1.什么是EM算法 最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。 最大期望算法经过两个步骤交替进行计算， 第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大似然估计值； 第二步是最大化（M），最大化在E步上求得的...

最近在哥们在看统计学习方法的时候，对于EM算法的引例子9.1中三硬币模型有疑问，于是我做了相应的整理和推导，希望对机器学习爱好者有所帮助，共勉。   例子大概是这样的：        假设有3枚硬币，分别记作A，B,C，这些硬币正面出现的概率分布分别是PI，p和q，进行如下的硬币是实验：先投掷硬币A，根据其结果选出硬币B和C,正面选B,反面选C;然后投掷选出的硬币，出现正面记作1，出现方面记

https://blog.csdn.net/XiaoYi_Eric/article/details/80274938 https://www.cnblogs.com/huangyc/p/10123780.html

自己学习过程所记笔记

《统计学习方法》在第十二页的求拟合多项式系数时，推出的结果与书本的不一致。在网上搜了《统计学习方法》勘误（http://blog.sina.com.cn/s/blog_7ad48fee01017dpi.html），结果还是错误的，也有一些人提出疑惑，但是李航博士也没有解答。本文试图推导最小二乘拟合多项式的过程，对书本的结果进行勘误，并且用向量的形式进行推导验证结果的正确性。     首先，原问题

EM算法（Expectation-Maximum）算法。 1，要解决的问题 在一些情况下，我们得到的观察数据有未观察到的隐含数据，此时我们有未知的隐含数据和模型参数，因而无法直接用极大化对数似然函数得到模型分布的参数。怎么办呢？这就是EM算法可以派上用场的地方了。 算法思路 假设未知的隐含数据为z，模型参数为θθ\theta。 已知的输入数据为: x=(x(1),x(2),.....

统计学习方法笔记 第一章:统计学习概论 1.1 统计学习 统计学习( statistical learning)是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习(statistical machine learning). 机器学习称为统计学习更学术化。 Herbert A.simon对“学习”的定义我觉得挺好的：如果一个系统能够通过执行某个过程改进它的性能，这就是学习。 统计学习的对象是数据（data），它从数据出发，提取数据的特征，抽象出数据模型，

感觉书中对式子9.13的推导不严谨，补充式子（9-13）完整推导： 对于观测数据Y（不完全数据）关于参数 θ 的对数似然函数： L(θ)=log⁡P(Y∣θ)=log⁡∑ZP(Y,Z∣θ)=log⁡(∑ZP(Y∣Z,θ)P(Z∣θ)) \begin{aligned} L(\theta) &=\log P(Y | \theta)=\log \sum_{Z} P(Y, Z | \the...