定义
定义在统计结构分布族
一般来说,任何定义在
估计的优良性
均方误差
为了排除样本随机性的影响,最常用的评价估计的标准是均方误差:
无偏性
由于
无偏估计的正式定义如下:
设
无偏估计体现了一种频率思想,只有在大量重复使用时,无偏性才有意义。例如某一工厂每天对其生产的样品进行抽检,如果假定其生产过程相对稳定,则估计的无偏性要求便是合理的。
例:设
是来自于 的一个样本, 和 都是未知参数。其常用的估计分别是样本均值 和样本方差 。由于 ,而 , ,因此 为 的无偏估计,而 不是 的无偏估计。但是如果将 修正为 ,则可以得到 的无偏估计。 当样本容量较大时,
和 将会很接近,此时称 为 的渐进无偏估计。
设
相合性
估计量是与样本容量有关的,假设用
设
相合性被认为是对估计的一个最基本要求,如果无论有多少观测值都无法把要估计的参数估计到任意指定的精度,那么这个估计是很值得怀疑的。
要证明相合性,需要使用描述极限的
例:设
是来自于 的一个样本,最大次序统计量 是 的常用估计。由于 的密度函数为 ,可求得 。因此 只是 的渐进无偏估计而不是无偏估计。此外,对于任意的 , 因此 是 的相合估计。
对于相合估计有如下性质,可以方便计算:
设
例:设
是来自于密度函数为 的一个样本,由于 ,为了方便将其记为 。 由强大数定律,有:
,而 是 的连续函数,因此根据上述定理可直接计算得到 是 的相合估计。
渐进正态性
设
渐进正态性只是反映了当
此外,
有效性
信息不等式:设
如果某个无偏估计的方差可以达到这个下界,那么它也自然就是 UMVUE。
估计的效:设
无偏估计
无偏性是统计问题中应用很广的一个准则,对于无偏估计,需要注意以下三点:
- 无偏估计不一定存在。在统计中,一般将存在无偏估计的参数函数称为可估参数。
- 对于可估参数,无偏估计一般不唯一。
- 无偏估计不一定是好估计
一致最小方差无偏估计
设
根据如下引理,在构造 UMVUE 时,通常需要使用到充分统计量,它可以降低无偏估计的方差:
设
这一引理的证明如下:
因为
为充分统计量,故 与 无关,它也是统计量。 根据重期望公式,
。 而
上式中的交叉乘积项
由上述引理,可以得到如下的定理:设
在所有的无偏估计中任取一个
,令 ,根据上述引理, 是 的函数,且是 UMVUE。 在无偏估计中可以在另外任取一个
,令 ,它也是 的函数,并且有 成立。即 。 根据
的完备性,可得 。这也就是说,从任意无偏估计出发,均可以得到一个相同的 ,它是完备充分统计量 的函数,是 几乎处处唯一的 UMVUE。
因此,UMVUE 的求法有两种:
寻找完备充分统计量的函数使之称为
的无偏估计。通常可以通过计算完备充分统计量的期望、方差等的含有参数 的表达式,来反推出 。例:设
是来自 的一个样本,由指数型分布族的性质可知, 是完备充分统计量。对于
,由于 ,因此 是 的 UMVUE。任取
的一个无偏估计,然后对完备充分统计量求条件期望。由于无偏估计可以任取,因此简便起见,通常是将无偏估计构造成指示函数的形式。例:接上面的例子,对于
,如果要直接找一个 的函数 使之成为 的无偏估计是很困难的。因此考虑先使用指示函数构造一个无偏估计,令: 令 ,则 是 的无偏估计。因此,可以通过计算 来得到 UMVUE。记 ,此时要分三种情况讨论: ,此时 一定成立,因此有: ,此时 一定成立,此时有: ,此时有:
综上,记
为 的 UMVUE,可得:例 2:某厂生产的产品其废品率为
,现将该产品包装成盒,每盒抽 个产品进行检验(设盒中产品数远大于 ),得到废品数 ,可以认为 。当 时接收该盒产品,其它情况拒收。通过概率 厂方自然很关心 的估计。假设抽了
盒产品进行检验,第 盒的废品数记为 , 。则 为完备充分统计量,且 。令
则 为 的无偏估计量。下面计算 的值。为了叙述方便,记 , , 分别对应于事件第 1 盒样品中的废品数为 0,1,2,这三个事件不相容,因此有: 上式即为 的 UMVUE。
估计方法
矩估计
定义
矩估计指的是用样本矩及其相应的函数估计相应的总体矩及其函数。具体表述如下:
设
需要注意的是,矩估计不唯一。例如来自泊松分布
特点与性质
矩估计的特点为:
- 矩估计基于经验分布函数,而经验分布函数逼近真实分布函数的前提条件是样本容量较大。因此矩估计是以大样本为应用对象的。
- 矩估计没有使用到总体分布的任何信息,本质上讲它是一种非参数方法。
对于矩估计,有如下两个大样本性质:
相合性:设
渐近正态性:设
极大似然估计
定义
设
由于概率密度大多具有指数函数形式,因此通常使用似然函数的对数。由于对数变换严格单调增,因此求极大值时等价。寻找 MLE 的常用办法是求导数。
性质
不变性:如果
相合性:如果
渐近正态性:假设
渐近有效性:在一定的正则条件下,MLE 的渐近方差为
最小二乘估计
定义
最小二乘法是一种常用的估计方法,最常见于线性模型。考虑 Gauss-Markov 模型:
性质
是 的无偏估计,它的协方差矩阵为 。- 如果
是列满秩矩阵,那么 是 唯一的最好线性无偏估计(Best Linear Unbiased Estimate,BLUE),也是 UMVUE。 - 如果
是列满秩矩阵,那么 是 的 UMVUE。
来做第一个留言的人吧!