数理统计-区间估计

基本概念

区间估计

设\(\{\mathscr{X},\mathscr{B},\mathscr{P}\}\)为一参数统计结构，其中\(\mathscr{P}=\{P_\theta:\theta\in \Theta\subseteq R\}\)。假设统计量\(\hat{\theta}_L(X)\)与\(\hat{\theta}_U(X)\)满足条件\(\hat{\theta}_L(X)\le \hat{\theta}_U(X)\)，则称区间\([\hat{\theta}_L(X), \hat{\theta}_U(X)]\)为参数\(\theta\)的一个区间估计。

可靠度

设\([\hat{\theta}_L(X), \hat{\theta}_U(X)]\)为参数\(\theta\)的一个区间估计，则称区间包含\(\theta\)的概率在参数空间\(\Theta\)上的下确界 \[ \inf_{\theta \in \Theta}P_\theta\{\hat{\theta}_L(X)\le \theta\le \hat{\theta}_U(X)\} \] 为该区间估计的置信系数。一个区间估计的置信系数越大，该区间估计作为未知参数的估计就越可靠。但是通过将一个区间估计的很大也可以使可靠度变大，但是范围太大也对应着精确度降低的问题。

精确度

一个好的区间估计通常对精确度也有要求。但是在样本数量确定时，可靠度与精确度相互制约，因此通常采取如下的折中方案：在使得置信系数达到一定要求的前提下，寻找精确度尽可能高的区间估计，也就是寻找区间平均长度尽可能短，或者区间包含非真值的概率尽可能小的区间估计。

置信水平

寻找一个好的区间估计，就是对选定的一个较小的数\(\alpha(0<\alpha<1)\)，在置信系数不小于\(1-\alpha\)，即满足条件 \[ P_\theta\{\hat{\theta}_L(X)\le \theta\le \hat{\theta}_U(X)\}\ge 1-\alpha,\forall\theta \in \Theta \] 的区间估计中，寻找区间平均长度\(E_\theta[\hat{\theta}_L(X), \hat{\theta}_U(X)]\)尽可能短，或者使得区间包含非真值的概率\(P_\theta\{\hat{\theta}_L(X)\le \theta'\le \hat{\theta}_U(X)\}\)尽可能小，其中\(\theta'\ne \theta\)。而满足上式的区间估计也被称为置信水平为\(1-\alpha\)的置信区间。

与假设检验类似，对于给定的置信水平\(1-\alpha\)，人们总是试图构造满足上式的区间估计，而且至少存在一个\(\theta\in\Theta\)，使得\(P_\theta\{\hat{\theta}_L(X)\le \theta\le \hat{\theta}_U(X)\}= 1-\alpha\)成立。这样意味着置信水平被足量地使用。

置信水平的概念指的是，如果将所求得的置信区间反复用于一个个具体的样本上，在这很多个实现中，大约占全部比例为\(1-\alpha\)的具体区间中包含有参数的真值\(\theta\)，剩余比例为\(1-\alpha\)的区间不包含\(\theta\)。

置信限

在实际问题中，有时人们仅仅对未知参数的置信上限或者置信下限感兴趣。设有统计量\(\hat{\theta}_L(X)\)，如果对一个选定的较小的数\(\alpha\)，有 \[ P_\theta\{\theta\ge \hat{\theta}_L(X)\}\ge 1-\alpha,~\forall \theta\in\Theta \] 成立，则称\(\hat{\theta}_L(X)\)为\(\theta\)的置信水平为\(1-\alpha\)的单侧置信下限。类似地，如果统计量\(\hat{\theta}_U(X)\)满足 \[ P_\theta\{\theta\le \hat{\theta}_U(X)\}\ge 1-\alpha,~\forall \theta\in\Theta \] 则称\(\hat{\theta}_U(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的单侧置信上限。

对于置信下限\(\hat{\theta}_L(X)\)来说，\(E_\theta[\hat{\theta}_L(X)]\)越大，置信下限的精度越高。而对于置信上限\(\hat{\theta}_U(X)\)来说，\(E_\theta[\hat{\theta}_U(X)]\)越小，则置信上限的精度越高。此外，如果假设参数真值为\(\theta\)，那么对于置信下限\(\hat{\theta}_L(X)\)来说，在\(\theta'<\theta\)时，\(P_\theta\{\theta'\ge \hat{\theta}_L(X)\}\)越小，则置信下限的精度越高。类似地，对于置信上限而言，在\(\theta'>\theta\)时，\(P_\theta\{\theta'\le \hat{\theta}_U(X)\}\)越小，则置信上限的精度越高。

置信区间与假设检验

假设检验和区间估计这两个问题之间有着密切的联系。由参数假设检验问题水平为\(\alpha\)的检验，可以得到该参数置信水平为\(1-\alpha\)的置信区间，反之亦然。双边假设检验问题\(H_0:\mu=\mu_0\)对备择假设\(H_1:\mu\ne \mu_0\)中接受原假设的区间与置信区间是一致的；而对于置信限的问题，则对应于单边假设检验问题\(H_0:\mu\le \mu_0\)对\(H_1:\mu>\mu_0\)和检验问题\(H_0:\mu\ge \mu_0\)对\(H_1:\mu<\mu_0\)。

构造方法

枢轴量法

原理

设\(\{\mathscr{X},\mathscr{B},\mathscr{P}\}\)为一参数统计结构，其中\(\mathscr{P}=\{P_\theta:\theta\in \Theta\subseteq R\}\)。可以按照如下三个步骤构造\(\eta=g(\theta)\in R\)的置信区间：

1. 构造样本\(X\)和参数\(\eta\)的一个函数\(G=G(X,\eta)\)，要求\(G\)的分布与参数\(\eta\)无关，具有这种性质的函数被称为枢轴量。

2. 对于给定的\(\alpha(0<\alpha<1)\)，选取两个参数\(c,d(c<d)\)，使得 \[ P_\theta\{c\le G(X,\eta)\le d\}\ge 1-\alpha \]

3. 如果不等式\(c\le G(X,\eta)\le d\)可以等价变换为\(\hat{\eta}_L(X)\le \eta\le \hat{\eta}_U(X)\)，那么 \[ P_\theta\{\hat{\eta}_L(X)\le \eta\le \hat{\eta}_U(X)\ge 1-\alpha \]

则\([\hat{\eta}_L(X),\hat{\eta}_U(X)]\)为\(\eta\)的一个置信水平为\(1-\alpha\)的置信区间。在\(G(X,\eta)\)是\(\eta\)的连续、严格单调函数时，这两个不等式的等价变换总可以做到。使用类似的方法，也可以构造出\(\eta\)的置信限。

在样本容量充分大时，有时也可以用渐进分布（渐进正态性）来构造近似的置信区间。

一般来说，要构造\(\theta\)的置信水平为\(1-\alpha\)的置信区间，首先考虑\(\theta\)的MLE或者是充分统计量，据此得到一个统计量\(T=T(X)\)，并给予\(T(X)\)寻找枢轴量，然后构造\(\theta\)的置信区间或者近似置信区间。

连续随机变量

在统计量\(T(X)\)为连续变量时，寻找枢轴量较为容易。设\(T(X)\)的分布函数为\(G(t,\theta)=P_\theta\{T(X)\le t\}\)，那么\(G(T(X),\theta)\)服从区间\((0,1)\)上的均匀分布。此时可选择\(G(T(X),\theta)\)作为枢轴量，同时要求\(T(X)\)的分布函数是\(G(T(X),\theta)\)的单调函数。这在\(T(X)\)的概率密度族关于\(T(X)\)有单调似然比时总是可以做到的，此时\(G(T(X),\theta)\)是\(\theta\)的非增或者非降函数。

例：设\(X=(X_1,\dots,X_n)\)是来自于密度函数为 \[ p(x;\theta)=\frac{\theta}{x^2},~0<\theta\le x<\infty \] 总体的样本，计算\(\theta\)的水平为\(1-\alpha\)的置信区间。

由于最小次序统计量\(X_{(1)}=\min\{X_1,\dots,X_n\}\)为\(\theta\)的MLE，也是\(\theta\)的充分统计量。因此下面基于最小次序统计量\(X_{(1)}\)构造\(\theta\)的区间估计。

\(T=X_{(1)}\)的密度函数和分布函数分别为： \[ g(t,\theta)=\frac{n\cdot \theta^n}{t^{n+1}},~~~0<\theta\le t<\infty \\ G(t,\theta)=1-\frac{\theta^n}{t^n},~~0<\theta\le t<\infty \] 则枢轴量可以取为： \[ G(X_{(1)},\theta)=1-\frac{\theta^n}{X_{(1)}^n}\sim U(0,1) \] 选取两个常数\(c\)和\(d\)（\(0<c<d<1\)）使得\(d-c=1-\alpha\)，则有： \[ P_\theta\{c\le 1-\frac{\theta^n}{X_{(1)}^n}\le d\}=1-\alpha \] 从而有\(\theta\)的置信水平为\(1-\alpha\)的置信区间\([\sqrt[n]{1-d}\cdot X_{(1)},\sqrt[n]{1-c}\cdot X_{(1)}]\)。

离散随机变量

如果统计量\(T(X)\)为离散随机变量，那么\(G(T(X),\theta)\)不服从区间\((0,1)\)的均匀分布，此时构造置信区间时需要用到下面关于\(G(T(X),\theta)\)的结论：

1. 设\(F(X)\)为随机变量\(X\)的分布函数，如果\(0\le y\le 1\)，则有： \[ P\{F(X)\le y\}\le y\le P\{F(X-0)<y\} \] >证明： > >首先证明\(P\{F(X)\le y\}\le y\)。下面分两种情况证明这一不等式： > >1. 集合\(\{x:F(x)=y\}\)非空，并且这个集合的上确界可以达到（例如连续随机变量），即 > \[ > x_0=\sup \{x:F(x)=y\}\in \{x:F(x)=y\} > \] > 此时有\(P(F(X)\le y)=P\{X\le x_0\}=F(x_0)=y\)，从而左边的不等式成立。 > >2. 设集合\(\{x:F(x)=y\}\)为空集（例如离散随机变量，可能会出现分布函数的取值不可能等于\(y\)的情况），或是这个集合的上确界无法达到（例如离散随机变量，分布函数可以取值为\(y\)，但是因为分布函数为阶梯函数，值为\(y\)的阶梯最右侧只能无限地趋近于下一个离散值而不能等于）。则函数\(F(x)\)存在一点\(x\)，使得\(F(x-0)\le y< F(x)\)成立。从而有： > \[ > P\{F(X)\le y\}=P\{F(X)<F(x)\}=p\{X<x\}=F(x-0)\le y > \] > >这便证明了左侧的不等式。 > >下面证明\(y\le P\{F(X-0)<y\}\)。 > >令\(Z=-X\)，并设\(Z\)的分布函数为\(G(Z)\)。根据上述结果，可得： >\[ >P\{G(Z)\le 1-y\}\le 1-y >\] >由于\(G(Z)=P\{Z\le z\}=P\{X\ge -z\}=1-F(-z-0)\)，所以有： >\[ >1-y\ge P\{1-F(-z-0)\le 1-y\}=1- P\{y> F(x-0)\} >\] >从而有 >\[ >P\{F(x-0)<y\}\ge y >\]

   由此可知，如果统计量\(T(X)\)为离散随机变量，其分布函数为\(G(T(X),\theta)=P_\theta\{T(X)\le t\}\)，则 \[ P\{G(T(X),\theta)\le y\}\le y\le P\{G(T(X)-0,\theta)<y\} \] 对于任意的\(0\le y\le 1\)和一切的\(\theta\in\Theta\)都成立，据此便可构造\(\theta\)的置信区间。

2. 如果\(G(t,\theta)\)是\(\theta\)的严格减函数，则对给定的\(\alpha(0<\alpha<1)\)， \[ \hat{\theta}_L=\sup_{\theta\in\Theta}\{\theta:G(T-0,\theta)\ge 1-\alpha\} \\ \hat{\theta}_U=\inf_{\theta\in\Theta}\{\theta:G(T,\theta)\le \alpha\} \] 分别为\(\theta\)的置信水平为\(1-\alpha\)的置信下限和置信上限。

   证明：

   由于\(G(t,\theta)\)是\(\theta\)的严格减函数，所以在\(G(T-0,\theta)<1-\alpha\)时，必然有\(\theta\ge \hat{\theta}_L\)（根据\(\hat{\theta}_L\)的定义可得）。根据上述引理可知 \[ P_{\theta}\{\theta\ge \hat{\theta}_L\}\ge P_{\theta}\{G(T-0,\theta)<1-\alpha\}\ge 1-\alpha \] 从而上述定义的\(\hat{\theta}_L\)为置信水平为\(1-\alpha\)的置信下限。

   同样，在\(G(T,\theta)>\alpha\)时，必然有\(\theta\le \hat{\theta}_U\)，根据上述引理可得： \[ P_{\theta}\{\theta\le \hat{\theta}_U\}\ge P_{\theta}\{G(T,\theta)>\alpha\}=1-P_{\theta}\{G(T,\theta)\le \alpha\}\ge 1-\alpha \] 从而上述定义的\(\hat{\theta}_U\)为置信水平为\(1-\alpha\)的置信上限。

3. 如果\(G(t,\theta)\)是\(\theta\)的严格减函数，则对给定的\(\alpha(0<\alpha<1)\)，\(\theta\)的置信水平为\(1-\alpha\)的置信区间为\([\hat{\theta}_L,\hat{\theta}_U]\)，其中 \[ \hat{\theta}_L=\sup_{\theta\in\Theta}\{\theta:G(T-0,\theta)\ge 1-\alpha_1\} \\ \hat{\theta}_U=\inf_{\theta\in\Theta}\{\theta:G(T,\theta)\le \alpha_2\} \] \(\alpha_1+\alpha_2=\alpha\)，且\(0\le\alpha_1,\alpha_2\le 1\)，通常根据区间平均长度越短越好的要求选取\(\alpha_1\)和\(\alpha_2\)。如果根据这一要求选取比较困难，则也可以简单地取\(\alpha_1=\alpha_2=\frac{\alpha}{2}\)。

4. 如果\(G(t,\theta)\)是\(\theta\)的严格增函数，则将上述\(\hat{\theta}_L,\hat{\theta}_U\)的表达式互相交换即可。

5. 如果\(G(t,\theta)\)是\(\theta\)的连续严格减函数，那么上述结论可以进一步简化：

   1. 关于\(\theta\)的方程\(G(T-0,\theta)=1-\alpha\)的解是\(\theta\)的置信水平为\(1-\alpha\)的置信下限
   2. 关于\(\theta\)的方程\(G(T,\theta)=\alpha\)的解是\(\theta\)的置信水平为\(1-\alpha\)的置信上限
   3. \(\theta\)的置信水平为\(1-\alpha\)的置信区间为\([\hat{\theta}_L,\hat{\theta}_U]\)，其中\(\hat{\theta}_L,\hat{\theta}_U\)是关于方程\(G(T,\theta)=\alpha_1\)和\(G(T-0,\theta)=1-\alpha_2\)的解。\(\alpha_1+\alpha_2=\alpha\)，且\(0\le\alpha_1,\alpha_2\le 1\)

   如果\(G(t,\theta)\)是\(\theta\)的连续严格增函数，那么上述的置信上限和下限互相交换。

例：设样本\(X=(X_1,\dots,X_n)\)来自于二点分布的总体\(b(1,p)\)，其中\(0\le p\le 1\)，计算\(p\)的置信区间。

由于\(p\)的MLE为\(\bar{X}\)，并且\(p\)的充分统计量为\(T=\sum_{i=1}^n X_i\)，因此可以依据\(T\)来构造\(p\)的置信区间。\(T\)的分布函数为： \[ G(t,p)=P_p(T\le t)=\sum_{i=1}^{[t]}\binom{n}{i}p^i\cdot(1-p)^{n-i} \] 其中\([t]\)表示\(t\)的整数部分。

根据下面的等式 \[ \sum_{i=1}^{k}\binom{n}{i}p^i\cdot(1-p)^{n-i}=\frac{\Gamma(n+1)}{\Gamma(k+1)\cdot\Gamma(n-k)}\int_{p}^{1}u^k\cdot (1-u)^{n-k-1}du \] 以及恒等式\(\sum_{i=1}^{n}\binom{n}{i}p^i\cdot(1-p)^{n-i}=1\)可得，\(T\)的分布函数\(G(t,p)\)是\(p\)的连续，严格减函数。

由于\(T\)一定是一个正整数，令其为\(k\)，则\(p\)的置信水平为\(1-\alpha\)的置信下限是下列方程的解： \[ \frac{\Gamma(n+1)}{\Gamma(k)\cdot\Gamma(n-k+1)}\int_{p}^{1}u^{k-1}\cdot (1-u)^{n-k}du=\alpha \] 即 \[ Be(p|k,n-k+1)=\alpha \] 如果\(B\sim Be(m,n)\)，则\(F=\frac{B}{1-B}\cdot \frac{n}{m}\sim F(2m,2n)\)成立，因此上述方程也等价于 \[ F(\frac{p}{1-p}\cdot\frac{n-k+1}{k}|2k,2(n-k+1))=\alpha \] 因此\(p\)的置信水平为\(1-\alpha\)的置信下限是下列方程的解： \[ \frac{p}{1-p}\cdot\frac{n-k+1}{k}=F_\alpha(2k,2(n-k+1)) \] 从中可解得： \[ \hat{p}_L=\frac{k}{k+(n-k+1)\cdot F_{1-\alpha}(2(n-k+1),2k)} \] 类似地，可以求得置信上限 \[ \hat{p}_U=\frac{(k+1)\cdot F_{1-\alpha}(2(k+1),2(n-k))}{(n-k)+(k+1)\cdot F_{1-\alpha}(2(k+1),2(n-k))} \]

似然置信域

设样本\(X=(X_1,\dots,X_n)\)来自于密度函数族\(\{P_\theta:\theta\in \Theta\subseteq R\}\)，其中未知参数\(\theta=(\theta_1,\dots,\theta_k)\)。参数空间\(\Theta\)是\(k\)维欧氏空间\(R^k\)中的一个含有内点的集合。在假设检验问题中，简单原假设\(H_0:\theta=\theta_0\)对备择假设\(H_1:\theta\ne \theta_0\)的检验问题，在一定条件下其似然比检验的拒绝域为\(W=\{x:2\ln \lambda>\chi^2_{1-\alpha}(k)\}\)，其中 \[ \lambda(X)=\frac{\prod_{i=1}^{n} p(X_i;\hat{\theta})}{\prod_{i=1}^{n} p(X_i;\theta_0)} \] 为似然比统计量，\(\hat{\theta}\)是\(\theta\)的MLE。由于\(\lambda\)和\(\theta_0\)有关，因此可以将其记为\(\lambda(X;\theta_0)\)，而根据似然比也可以得到如下的似然置信域： \[ \{\theta:2\ln \lambda(x;\theta)\le \chi^2_{1-\alpha}(k)\} \]

一致最精确置信区间（置信限）

一致最精确置信限

设\(\hat{\theta}_L(X)\)为\(\theta\)的置信水平为\(1-\alpha\)的置信下限，如果对任意一个\(\theta\)的置信水平为\(1-\alpha\)的置信下限\(\hat{\theta}^*_L(X)\)，在\(\theta'<\theta\)时都有 \[ P_\theta\{\theta'\ge \hat{\theta}_L(X)\}\le P_\theta\{\theta'\ge \hat{\theta}^*_L(X)\} \] 则称\(\hat{\theta}_L(X)\)为\(\theta\)的置信水平为\(1-\alpha\)的一致最精确（Uniformly Most Accurate，UMA）置信下限。

同理，设\(\hat{\theta}_U(X)\)为\(\theta\)的置信水平为\(1-\alpha\)的置信上限，如果对任意一个\(\theta\)的置信水平为\(1-\alpha\)的置信上限\(\hat{\theta}^*_L(X)\)，在\(\theta'>\theta\)时都有 \[ P_\theta\{\theta'\le \hat{\theta}_U(X)\}\le P_\theta\{\theta'\le \hat{\theta}^*_U(X)\} \] 则称\(\hat{\theta}_U(X)\)为\(\theta\)的置信水平为\(1-\alpha\)的一致最精确（Uniformly Most Accurate，UMA）置信上限。

上述的UMP置信限问题与单边假设检验问题的水平为\(\alpha\)的UMPT互相等价，假设检验问题的非拒绝区域也相应地对应于置信限。

证明：

以单边假设检验问题\(H_0:\theta\le \theta_0\)对\(H_1:\theta>\theta_0\)为例，设它的水平为\(\alpha\)的UMPT的拒绝域为\(W=W(x;\theta_0)\)，则检验的接收域为\(\bar{W}=\bar{W}(x;\theta_0)\)。设\(x\in \bar{W}(x;\theta_0)\)可以等价地变换为\(\theta_0\ge \hat{\theta}_L(X)\)。

由于\(W\)为假设检验问题的拒绝域，因此 \[ P_{\theta_0}\{\theta_0\ge \hat{\theta}_L(X)\}=P_{\theta_0}\{X\in \bar{W}(x;\theta_0)\}=1-P_{\theta_0}\{X\in {W}(x;\theta_0)\}\ge 1-\alpha \] 考虑到\(\theta_0\)的任意性，故\(\hat{\theta}_L(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的置信下限。

对任意一个\(\theta\)的置信水平为\(1-\alpha\)的置信下限\(\hat{\theta}_L^*(X)\)，构造检验，令其拒绝域为 \[ W^*=W^*(x;\theta_0)=\{x:\theta_0<\hat{\theta}_L^*(X)\} \] 则在\(\theta\le \theta_0\)时 \[ P_{\theta}\{X\in W^*\}=P_{\theta}\{\theta_0<\hat{\theta}_L^*(X)\}\le P_{\theta}\{\theta<\hat{\theta}_L^*(X)\}=1-P_{\theta}\{\theta\ge \hat{\theta}_L^*(X)\}\le 1-(1-\alpha)=\alpha \] 所以拒绝域为\(W^*=W^*(x;\theta_0)\)的检验是所考虑的单边假设检验问题的水平为\(\alpha\)的一个检验。

由于拒绝域为\(W=W(x;\theta_0)\)的检验是水平为\(\alpha\)的UMPT，因此在\(\theta>\theta_0\)时 \[ \begin{aligned} &P_{\theta}\{X\in W(X;\theta_0)\} \ge P_{\theta}\{X\in W^*(X;\theta_0)\} \\ \Rightarrow& P_{\theta}\{\theta_0<\hat{\theta}_L(X)\} \ge P_{\theta}\{\theta_0<\hat{\theta}_L^*(X)\} \\ \Rightarrow& P_{\theta}\{\theta_0\ge \hat{\theta}_L(X)\} \le P_{\theta}\{\theta_0\ge \hat{\theta}_L^*(X)\} \end{aligned} \] 这就说明了\(\hat{\theta}_L(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的UMA置信下限。

一致最精确无偏置信限与区间

在多参数分布族的场合下，单参数假设检验问题的UMPT不存在，因而UMA置信限也不存在。但此时通常存在UMPUT，由它可以导出一致最精确无偏（Uniformly Most Accurate Unbiased）置信限。

设\(\hat{\theta}_L(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的置信下限，如果在\(\theta'<\theta\)时，都有 \[ P_\theta\{\theta'\ge \hat{\theta}_L(X)\}\le 1-\alpha \] 则称\(\hat{\theta}_L(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的无偏置信下限。如果对任意一个\(\theta\)的置信水平为\(1-\alpha\)的无偏置信下限\(\hat{\theta}^*_L(X)\)，在\(\theta'<\theta\)时都有 \[ P_\theta\{\theta'\ge \hat{\theta}_L(X)\}\le P_\theta\{\theta'\ge \hat{\theta}^*_L(X)\} \] 则称\(\hat{\theta}_L(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的UMAU置信下限。类似地，也可以定义UMAU置信上限的概念。

设\(\hat{\theta}_U(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的置信上限，如果在\(\theta'>\theta\)时，都有 \[ P_\theta\{\theta'\le \hat{\theta}_U(X)\}\le 1-\alpha \] 则称\(\hat{\theta}_U(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的无偏置信上限。如果对任意一个\(\theta\)的置信水平为\(1-\alpha\)的无偏置信上限\(\hat{\theta}^*_U(X)\)，在\(\theta'>\theta\)时都有 \[ P_\theta\{\theta'\le \hat{\theta}_U(X)\}\le P_\theta\{\theta'\le \hat{\theta}^*_U(X)\} \] 则称\(\hat{\theta}_U(X)\)是\(\theta\)的置信水平为\(1-\alpha\)的UMAU置信上限。上述的置信上限和置信下限也等价于对应的单边假设检验问题中水平为\(\alpha\)的UMPUT的非拒绝区域。

而对于置信区间来说，也有类似的定义：

设\([\hat{\theta}_L(X),\hat{\theta}_U(X)]\)为\(\theta\)的置信水平为\(1-\alpha\)的置信区间，如果在\(\theta'\ne \theta\)时，都有 \[ P_\theta\{\hat{\theta}_L(X)\le \theta' \le \hat{\theta}_U(X)\}\le 1-\alpha \] 则称\([\hat{\theta}_L(X),\hat{\theta}_U(X)]\)为\(\theta\)的置信水平为\(1-\alpha\)的无偏置信区间。如果对任意一个\(\theta\)的置信水平为\(1-\alpha\)的无偏置信区间\([\hat{\theta}^*_L(X),\hat{\theta}^*_U(X)]\)，在\(\theta'\ne \theta\)时都有 \[ P_\theta\{\hat{\theta}_L(X)\le \theta' \le \hat{\theta}_U(X)\}\le P_\theta\{\hat{\theta}^*_L(X)\le \theta' \le \hat{\theta}^*_U(X)\} \] 则称\([\hat{\theta}_L(X),\hat{\theta}_U(X)]\)为\(\theta\)的置信水平为\(1-\alpha\)的UMAU置信区间。而这一的置信区间其实也等价于双边假设检验问题的水平为\(\alpha\)的UMPUT的非拒绝区域。

证明：

设双边假设检验问题\(H_0:\theta=\theta_0\)对\(H_1:\theta\ne \theta_0\)的水平为\(\alpha\)的UMPUT拒绝域为\(W=W(x;\theta_0)\)，接受域为\(\bar{W}=\bar{W}(x;\theta_0)\)。设\(x\in \bar{W}\)可以等价变换为\(\hat{\theta}_L(X)\le \theta_0\le \hat{\theta}_U(X)\)。

由于\(W\)为双边假设检验问题水平为\(\alpha\)的UMPUT的拒绝域，因此 \[ P_{\theta_0}\{\hat{\theta}_L(X)\le \theta_0\le \hat{\theta}_U(X)\}=P_{\theta_0}\{X\in \bar{W}(x;\theta_0)\}=1-P_{\theta_0}\{X\in W(x;\theta_0)\}\ge 1-\alpha \] 并且在\(\theta\ne \theta_0\)时 \[ P_{\theta_0}\{\hat{\theta}_L(X)\le \theta_0\le \hat{\theta}_U(X)\}=P_{\theta_0}\{X\in \bar{W}(x;\theta)\}=1-P_{\theta_0}\{X\in W(x;\theta)\}\le 1-\alpha \] 故\([\hat{\theta}_L(X),\hat{\theta}_U(X)]\)为\(\theta\)的置信水平为\(1-\alpha\)的无偏置信区间。

对任意一个\(\theta\)的置信水平为\(1-\alpha\)的无偏置信区间\([\hat{\theta}^*_L(X),\hat{\theta}^*_U(X)]\)，构造检验，使其拒绝域为 \[ W^*=W^*(X;\theta_0)=\{x;\theta_0<\hat{\theta}^*_L(X)~\text{or}~\theta_0>\hat{\theta}^*_U(X)\} \] 则 \[ P_{\theta_0}\{X\in W^*\}=1-P_{\theta_0}\{X\in \bar{W}^*\}=1-P_{\theta_0}\{\hat{\theta}^*_L(X)\le \theta_0\le \hat{\theta}^*_U(X)\}\le 1-(1-\alpha)=\alpha \] 且\(\theta\ne \theta_0\)时 \[ P_{\theta_0}\{X\in W^*\}=1-P_{\theta_0}\{X\in \bar{W}^*\}=1-P_{\theta_0}\{\hat{\theta}^*_L(X)\le \theta_0\le \hat{\theta}^*_U(X)\}\ge 1-(1-\alpha)=\alpha \] 从而拒绝域为\(W^*\)的检验是所考虑双边假设检验问题的一个无偏检验。由于拒绝域为\(W\)的检验为UMPUT，因此在\(\theta\ne \theta_0\)时 \[ \begin{aligned} &P_{\theta}\{X\in W(X;\theta_0)\} \ge P_{\theta}\{X\in W^*(X;\theta_0)\} \\ \Rightarrow& P_{\theta}\{X\in \bar{W}(X;\theta_0)\} \le P_{\theta}\{X\in \bar{W}^*(X;\theta_0)\} \\ \Rightarrow& P_{\theta}\{\hat{\theta}_L(X)\le \theta_0 \le \hat{\theta}_U(X)\} \le P_{\theta}\{\hat{\theta}^*_L(X)\le \theta_0\le \hat{\theta}^*_U(X)\} \end{aligned} \] 从而得证。

置信区间的平均长度

区间估计的精确度标准有两个，一个是区间包含非真值的概率越小越好，UMA和UMAU就是根据这个标准提出的。而另一个标准则是区间的平均长度越短越好，这两个标准之前存在着某种联系。

设参数空间\(\Theta=\{\theta\}\)，\(\Theta\)是直线上面含有内点的一个区间。如果\([\hat{\theta}_L(X),\hat{\theta}_U(X)]\)是参数\(\theta\)的置信水平\(1-\alpha\)的UMAU置信区间，则对\(\theta\)的任意一个置信水平为\(1-\alpha\)的无偏置信区间\([\hat{\theta}^*_L(X),\hat{\theta}^*_U(X)]\)，都有 \[ E_\theta[\hat{\theta}_U(X)-\hat{\theta}_L(X)]\le E_\theta[\hat{\theta}^*_U(X)-\hat{\theta}^*_L(X)] \] 对一切的\(\theta\)都成立。

证明： \[ \begin{aligned} E_\theta[\hat{\theta}_U(X)-\hat{\theta}_L(X)]=&\iint_{\hat{\theta}_L(x)}^{\hat{\theta}_U(x)}d\theta'dP_{\theta}(x) \\ =& \iint_{\{x:\hat{\theta}_L(x)\le \theta' \le \hat{\theta}_U(x)\}}dP_{\theta}(x)d\theta' \\ =& \int P_{\theta}\{\hat{\theta}_L(x)\le \theta' \le \hat{\theta}_U(x)\} d\theta' \\ =& \int_{\theta\ne \theta'} P_{\theta}\{\hat{\theta}_L(x)\le \theta' \le \hat{\theta}_U(x)\} d\theta' \\ \le & \int_{\theta\ne \theta'} P_{\theta}\{\hat{\theta}_L^*(x)\le \theta' \le \hat{\theta}_U^*(x)\} d\theta' \\ =& E_{\theta}[\hat{\theta}_U^*(x)-\hat{\theta}_L^*(x)] \end{aligned} \]

但是关于置信限，上述的结论则不一定成立。而且上述结论也仅对于无偏置信区间成立，如果将无偏的条件去掉那么也不一定成立。

例：设\(X=(X_1,\dots,X_n)\)是来自于正态总体\(\{N(\mu,\sigma^2):-\infty<\mu<\infty,\sigma^2>0\}\)的样本。考虑假设检验问题\(H_0:\sigma^2=\sigma_0^2\)对\(H_1:\sigma^2\ne\sigma_0^2\)，这一问题的水平为\(\alpha\)的UMPUT拒绝域为： \[ W=\{x:T(x)\le c_1~\text{or}~T(x)\ge c_2\} \] 其中\(c_1\)和\(c_2\)由下式确定： \[ c_2\cdot \chi^2(\frac{c_2}{\sigma_0^2}|n-1)-c_1\cdot \chi^2(\frac{c_1}{\sigma_0^2}|n-1)=0 \] 其中\(T(x)=\sum_{i=1}^{n}(x_i-\bar{x})^2\)，\(\chi^2(x|n-1)\)表示自由度为\(n-1\)的\(\chi^2\)分布的密度函数。令\(c_1=\frac{(n-1)\cdot \sigma_0^2}{b}\)，\(c_2=\frac{(n-1)\cdot \sigma_0^2}{a}\)，\(S^2=\frac{T(x)}{n-1}\)，此时拒绝域等价于\(W=\{x:b\cdot S^2\le \sigma_0^2~\text{or}~a\cdot S^2\ge \sigma_0^2\}\)，\(a\)和\(b\)满足如下条件： \[ \frac{1}{a}\cdot \chi^2(\frac{n-1}{a}|n-1)=\frac{1}{b}\cdot \chi^2(\frac{n-1}{b}|n-1) \] 因此，\([a\cdot S^2,b\cdot S^2]\)为\(\sigma^2\)的置信水平为\(1-\alpha\)的UMAU置信区间。

但是在形如\([a\cdot S^2,b\cdot S^2]\)的区间估计中，根据 \[ P_{\sigma^2}\{aS^2\le \sigma^2\le bS^2\}=\int_{\frac{n-1}{b}}^{\frac{n-1}{a}}\chi^2(x|n-1)dx=1-\alpha \] 然后在上式中对\(a\)求导（将\(b\)看作\(b=b(a)\)），可得如下关系满足时区间的长度最短： \[ \frac{1}{a^2}\cdot \chi^2(\frac{n-1}{a}|n-1)=\frac{1}{b^2}\cdot \chi^2(\frac{n-1}{b}|n-1) \] 这也就是说，UMAU置信区间的平均长度其实不是最短的，而平均置信区间长度最短的置信区间并不满足无偏的特性。

信仰推断

信仰分布

信仰分布指的是，在有了样本观察值\(x\)之后，就有了参数\(\theta\)的一个分布，这个分布表示了由于所得样本的观察信息，\(\theta\)落在各个范围内的可信程度。

根据信仰分布可以进一步诱导得到置信区间估计。信仰水平为\(1-\alpha\)的区间估计与置信水平为\(1-\alpha\)的区间估计有时相同，但也有时不同。

函数模型

建立函数模型诱导出信仰分布是较为简单的一种办法。函数模型有三个要素，观察值\(X\)取值于\((\mathscr{X},\mathscr{B}_{\mathscr{X}})\)，参数\(\theta\)取值于\((\Theta,\mathscr{B}_\Theta)\)，误差变量\(e\)取值于\((\mathscr{E},\mathscr{B}_{\mathscr{E}})\)，\(e\)的分布与\(P\)和\(\theta\)无关。这三个量之间存在一个函数关系：\((\theta,e)\rightarrow X\)，记为\(X=\theta\circ e\)，其中\(\circ\)表示某种运算。要求对于每一个\(X\in \mathscr{X}\)，存在\(\theta\)和\(e\)，使得\(X=\theta\circ e\)。

如果对所有的\(X\)和\(e\)，存在唯一的\(\theta\)使得\(X=\theta\circ e\)，则在有了样本观察值之后，\(\theta\)是\(e\)的函数，从而可以由函数模型诱导出\(\theta\)的分布，这就是\(\theta\)的信仰分布。

例：设样本\(X=(X_1,\dots,X_n)\)来自于正态分布总体\(N(\mu,\sigma^2)\)，其中\(-\infty<\mu<\infty\)，\(\sigma^2>0\)。由于\((\bar{X},Q^2=\sum_{i=1}^{n}(X_i-\bar{X})^2)\)为\((\mu,\sigma^2)\)的充分统计量，因此下面基于\((\bar{X},Q^2)\)考虑问题。因为\(\bar{X}\sim N(\mu,\frac{\sigma^2}{n})\)，\(\frac{Q^2}{\sigma^2}\sim\chi^2(n-1)\)，并且\(\bar{X}\)和\(Q^2\)相互独立。

记\(e_1\sim N(0,1)\)，\(e_2\sim \chi^2(n-1)\)，且二者相互独立，则有如下函数模型： \[ \begin{cases} \bar{X}=\mu+\frac{\sigma}{\sqrt{n}}\cdot e_1 \\ Q^2=\sigma^2\cdot e_2 \end{cases} \] 由此函数模型可得： \[ \begin{cases} \mu=\bar{X}-\frac{1}{\sqrt{n}}\cdot \frac{Q}{\sqrt{e_2}}\cdot e_1\\ \sigma^2=\frac{Q^2}{e_2} \end{cases} \] 从中可以推导出\(\mu\)的边际信仰分布： \[ \sqrt{n-1}\cdot\frac{\sqrt{n}(\mu-\bar{X})}{Q}=-\sqrt{n-1}\cdot \frac{e_1}{\sqrt{e_2}}\sim t(n-1) \] 也就是说，\(\mu\)的边际信仰分布为\(t\)分布。记\(S^2=\frac{Q^2}{n-1}\)，则由此信仰分布构造的\(\mu\)的信仰水平为\(1-\alpha\)的边际信仰分布区间为： \[ [\bar{X}-\frac{S}{\sqrt{n}}\cdot t_{1-\alpha/2}(n-1),\bar{X}+\frac{S}{\sqrt{n}}\cdot t_{1-\alpha/2}(n-1)] \] 而对于\(\sigma^2\)来说，其分布为倒\(\chi^2\)分布，其密度函数为 \[ \sigma^2 \propto \exp\{-\frac{Q^2}{2\sigma^2}\}\cdot \sigma^{-(n+1)} \] 设由此构造出的\(\sigma^2\)的水平为\(1-\alpha\)的区间估计为\([\hat{\sigma}_L^2,\hat{\sigma}_U^2]\)，根据区间长度尽可能短的要求，区间的左右端点需要满足条件（用拉格朗日乘子法可求得）： \[ (\hat{\sigma}_L^2)^{-\frac{n+1}{2}}\cdot \exp\{-\frac{Q^2}{2\cdot \hat{\sigma}_L^2}\}=(\hat{\sigma}_U^2)^{-\frac{n+1}{2}}\cdot \exp\{-\frac{Q^2}{2\cdot \hat{\sigma}_U^2}\} \]