极大似然估计

一、似然函数

给定输出X时,关于参数θ的似然函数L(θ|X)(在数值上)等于给定参数θ后变量X的概率:L(θ|X)=P(X=x|θ)

似然,就是可能的意思。例如体重为20kg的哈士奇的可能性是多少,就称为体重为20kg的哈士奇的似然为多少

现在有500只哈士奇,体重为:D={X1 X2 X3...X500},根据实际情况我们可以假设它们的体重呈正态分布:D~N(μ,σ^2),因此我们需要求μ,σ
①设θ=(μ,σ)
②通过数据集和贝叶斯公式(上篇介绍有)可以知道P(X=x|θ)
③L(θ|X)=P(X=x|θ)
④L'(θ)=0,得到θ的估计值:当似然函数取最大值时,此时的θ值可能性最大

二、为什么要用极大似然估计

似然函数取得最大值表示相应的参数能够使得统计模型最为合理,这个使可能性最大的值即被称为θ的最大似然估计。

当我们使用机器学习解决具体现实问题时,我们是无法确切知道具体的数据分布情况的。例如我们现在想知道橘猫的体重分布,显然我们无法一只一只地去测。这种情况在机器学习中非常普遍,那我们可不可以用部分已知数据去预测整体的分布呢?最大似然估计就是解决这一问题的方法。但是,这并不是绝对准确的,只能说实际情况最能接近这种预测的分布。

三、使用极大似然估计方法的两个条件

1.我们假定数据从某种已知的特定数据分布型

2.我们已经得到了一定数据集

原文地址:https://www.cnblogs.com/Liang-Shan/p/14067298.html