最大似然估计法

最大似然估计的基本思想最大似然估计方法的思想非常简单：当获得实验结果时，我们应该寻找使这个结果最有可能成为真实估计的方法。我们用两种方式分析它：1.离散人口将其设为离散随机变量，其概率分布形式为，则样本的概率分布为，当固定时，上述公式表示取值的概率；当固定时，它是一个函数，我们称之为似然函数。似然函数值的大小意味着样本值出现的可能性大小。由于样本值已经获得，其出现的概率应该很大，也就是说，似然函数值应该很大。因此，我们选择达到最大值的一个作为真正的估计。2.连续人口将其设置为连续随机变量，其概率密度函数是从总体中抽取的样本。因为它们彼此独立且分布相同，所以样本的联合概率密度函数为当它是固定的，它是这个地方的密度，它的大小与附近下降的概率成正比，而当样本值是固定的，它是一个函数。我们仍然认为它是一个似然函数。与刚才的讨论相似，我们选择了最大的一个作为真正的估计。总之，当测试结果是样本值时，似然函数反映了从不同的。我们选择达到最大值的那个作为真正的估计。这种求点估计的方法叫做最大似然法。7.2.2寻找最大似然估计的方法假设我们观察了一组样本来估计未知参数。直观的想法是，哪组值使得当前样本最有可能出现，哪组参数可能是真实参数，我们将使用它作为参数的估计值。在这种情况下，假设我们有一组样本。如果参数的两组不同值之和不同，则似然函数具有以下关系,然后，再从概率密度函数的角度来看，上述公式的含义是参数出现的概率大于参数出现的概率，当然参数比更像一个实参数。这种分析导致了一种参数估计方法，即似然函数达到最大值的点被用作未知参数的估计，这被称为最大似然估计。现在让我们讨论一下找到最大似然估计的具体方法。为简单起见，以下注意事项，寻找的最大似然估计可归结为寻找最大点。因为对数函数是单调递增函数，所以(7.2.1)并且具有相同的最大值。在许多情况下，最大值点相对简单，所以我们将最大值点改为最大值点。对于导数，并让它等于零，我们得到方程(7.2.2)这叫做似然方程。如果这个方程组的解可以证明它是一个最大值点，那么它一定是，也就是最大值点，也就是最大似然估计。最常用的重要例子都属于这种情况。然而，在某些情况下，问题更加复杂，并且似然方程的解可能不是唯一的，因此有必要进一步确定哪个是最大值点。还应该指出，如果函数的导数不存在，我们就不能得到似然方程(7.2.2)，那么我们必须根据最大似然估计的定义直接去最大值点。在某些情况下，我们需要估计。如果它们分别是最大似然估计，则称为最大似然估计。让我们举几个例子来说明最大似然估计的方法。例7.2.1让我们从正常人群中取样，其中未知参数为mm sum(注意，我们将其视为一个参数)。似然函数是=它的对数是,似然方程是从第一个公式(7.2.3)代入第二个公式。(7.2.4)似然方程有唯一的解(，)，而且它必须是最大值点，因为当或或是非负函数。那么和的最大似然估计是嘿。(7.2.5)这里，我们用大写字母来表示所有涉及的样本，因为最大似然估计的和是一个统计量，留下一个特定的实验或观察，它们都是随机的。例7.2.2让对于样本，参数的似然函数为,可能性等式是,我能理解。因为的二阶导数总是负的，所以可以看出，似然函数在。因此，它是的最大似然估计。例7.2.3将总体设置为均匀分布，并计算最大似然估计。的概率密度函数是对于样本，显然，L(a，b)作为a和b的二元函数是不连续的。此时，我们不能用似然方程(7.2.2)来寻找最大似然估计，但我们必须从最大似然估计的定义出发来寻找L(a，b)的最大值。为了使L(a，b)最大化，b-a应尽可能小，但b不应小于，否则，L(a，b)=0。同样，a不能超过。因此，A和B的最大似然估计为,到目前为止，我们已经讨论了矩估计和最大似然估计，例如正态分布、泊松分布、均匀分布参数和事件发生概率的估计。在我们引用的例子中，除了均匀分布，这两个估计是一致的。矩估计的