统计学习极大似然估计

最新推荐文章于 2022-06-19 18:34:15 发布

一只老风铃

最新推荐文章于 2022-06-19 18:34:15 发布

阅读量588

点赞数 1

CC 4.0 BY-SA版权

分类专栏：统计学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_33369979/article/details/103705130

统计学习专栏收录该内容

18 篇文章

订阅专栏

本文通过实例解析极大似然估计的原理与应用，介绍如何利用已知样本信息反推模型参数，实现对未知参数的科学估计。极大似然估计是一种统计学方法，用于确定最有可能产生已观察到数据的参数值。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【案例引入】

原问题：一个袋子装有100个球，其中黑球70个，白球30个，问拿出一个球是黑球的概率？

$P=\frac{70}{100}=0.7$

很显然概率为0.7

修改后问题：一个袋子装有100个球，拿出10个，其中7个黑球，3个白球，问原先袋子中黑球的比例为多少？

即通过出现的情况现象预估原先模型的参数？

那么可以假设原先黑球比例为p 那么拿出一个球的概率也是p

那么出现7个黑球 3个白球的概率是：

$\binom{7}{10}*P^{(7)}*(1-P)^{(3)}$

那么使得上述式子最大的P就是原先袋子中黑球比例P的最大可能。

假如黑球比例为0.6 那么摸10个球出现7个黑球3个白球的概率是：0.2149
假如黑球比例为0.7 那么摸10个球出现7个黑区3个白球的概率是：0.2668

也就是当黑球比例为0.7时，出现这种情况现象的可能最大，

那么原先黑球比例使用0.7估计更为科学准确

因此，极大似然估计即：

利用已知的样本结果信息，反推最具有可能导致这些样本结果出现的模型参数值。

极大似然即通俗意义上理解的最大可能

【计算公式】

根据部分样本信息，猜测原先数据的模型分布参数，极大似然估计提供了一种给定观察数据来评估模型参数的方法

模型已确定，但参数未知，通过样本数据和反复实验确定模型参数使得出现实验结果的可能性最大

其一个使用的重要前提是：样本数据的分布与实际总体数据的分布大致一致。

考虑一个给定的样本集合D={X1,X2,X3,X4...Xn} 其模型参数为θ

那么似然函数为一定模型参数θ对应出现样本结果的概率：P(D|θ)

形式化展开：

$l(\theta )=P(D|\theta )=P(X1,X2,X3...,Xn|\theta )=\prod_{i=1}^{n}P(Xi|\theta )$

而最大似然估计就是寻找使得上述表达式最大的θ 其求解思路如下，首先取对数，转乘为加：

$argmax ln(\theta )=argmax\sum_{i=1}^{n}ln(Xi|\theta )$

其中Xi为已知数，只有θ为未知数，即对以下方程求解：

$\frac{d(lnl(\theta ))}{d\theta }=0$

以正太分布为例：

可以看到最终结果显示，由部分样本计算出的正态分布的模型参数就是最大似然的计算结果

也就是由部分样本计算出正态分布模型是原数据集正态分布模型的最好估计

【总结】

一般而言最大似然估计的计算流程如下：

首先写出最大似然函数
对似然函数取对数
求解导数
解似然方程

最大似然估计的特点是：

方法简单
收敛性好

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。