点估计与估计量

点估计的基本概念

点估计的定义

定义：设总体 $X$ 的分布函数为 $F(x;\theta)$ ，其中 $\theta$ 是未知参数， $\theta \in \Theta$ 。从总体中抽取样本 $X_1, X_2, \dots, X_n$ ，构造统计量 $\hat{\theta} = \hat{\theta}(X_1, X_2, \dots, X_n)$ 来估计参数 $\theta$ ，则称 $\hat{\theta}$ 为参数 $\theta$ 的点估计量，简称估计量。

估计量与估计值的区别

估计量： $\hat{\theta} = \hat{\theta}(X_1, X_2, \dots, X_n)$ 是随机变量

估计值： $\hat{\theta} = \hat{\theta}(x_1, x_2, \dots, x_n)$ 是具体的数值

点估计的直观理解

理解：点估计就是用样本信息来估计总体参数的具体数值。由于样本是随机的，估计量也是随机的，因此我们需要评价估计量的好坏。

估计量的评价标准

无偏性

定义：如果估计量 $\hat{\theta}$ 的期望等于被估计的参数 $\theta$ ，即： $E(\hat{\theta}) = \theta$ 则称 $\hat{\theta}$ 为参数 $\theta$ 的无偏估计量。

意义：无偏性意味着估计量的期望值等于真值，从长期来看，估计值不会系统性地偏离真值。

例 1：样本均值 $\overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 是总体均值 $\mu$ 的无偏估计量。

证明： $E(\overline{X}) = E(\frac{1}{n}\sum_{i=1}^n X_i) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n} \cdot n\mu = \mu$

有效性

定义：设 $\hat{\theta}_1$ 和 $\hat{\theta}_2$ 都是参数 $\theta$ 的无偏估计量，如果： $Var(\hat{\theta}_1) < Var(\hat{\theta}_2)$ 则称 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 更有效。

意义：有效性反映了估计量的精度，方差越小，估计量越精确。

例 2：对于正态总体 $N(\mu, \sigma^2)$ ，样本均值 $\overline{X}$ 比单个观测值 $X_1$ 更有效。

证明： $Var(\overline{X}) = \frac{\sigma^2}{n} < \sigma^2 = Var(X_1)$

一致性

定义：如果估计量 $\hat{\theta}_n$ 依概率收敛于参数 $\theta$ ，即： $\hat{\theta}_n \xrightarrow{P} \theta$ 则称 $\hat{\theta}_n$ 为参数 $\theta$ 的一致估计量。

意义：一致性意味着当样本量增大时，估计量会越来越接近真值。

例 3：样本均值 $\overline{X}_n$ 是总体均值 $\mu$ 的一致估计量。

证明：由大数定律， $\overline{X}_n \xrightarrow{P} \mu$

渐近正态性

定义：如果估计量 $\hat{\theta}_n$ 的标准化形式趋于正态分布，即： $\frac{\hat{\theta}_n - \theta}{\sqrt{Var(\hat{\theta}_n)}} \xrightarrow{d} N(0,1)$ 则称 $\hat{\theta}_n$ 具有渐近正态性。

意义：渐近正态性为构造置信区间和进行假设检验提供了理论基础。

常见分布参数的估计量

正态分布参数估计

总体： $X \sim N(\mu, \sigma^2)$

均值估计：

无偏估计量： $\hat{\mu} = \overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$
性质：无偏、有效、一致

方差估计：

无偏估计量： $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$
极大似然估计量： $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^2$

泊松分布参数估计

总体： $X \sim Poisson(\lambda)$

参数估计：

无偏估计量： $\hat{\lambda} = \overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$
性质：无偏、有效、一致

指数分布参数估计

总体： $X \sim Exp(\lambda)$

参数估计：

无偏估计量： $\hat{\lambda} = \frac{1}{\overline{X}}$
极大似然估计量： $\hat{\lambda} = \frac{1}{\overline{X}}$

均匀分布参数估计

总体： $X \sim U(a,b)$

参数估计：

$a$ 的估计量： $\hat{a} = \min(X_1, X_2, \dots, X_n)$
$b$ 的估计量： $\hat{b} = \max(X_1, X_2, \dots, X_n)$

估计量的构造方法

矩估计法

思想：令样本矩等于总体矩，解方程得到参数估计量。

步骤：

计算总体矩（用参数表示）
计算样本矩
令样本矩等于总体矩
解方程得到参数估计量

例 4：设 $X \sim Poisson(\lambda)$ ，用矩估计法估计 $\lambda$ 。

解：

总体一阶矩： $E(X) = \lambda$
样本一阶矩： $\frac{1}{n}\sum_{i=1}^n X_i = \overline{X}$
令 $\overline{X} = \lambda$
得到 $\hat{\lambda} = \overline{X}$

最大似然估计法

思想：选择使样本观测值出现概率最大的参数值作为估计量。

步骤：

构造似然函数 $L(\theta) = \prod_{i=1}^n f(x_i;\theta)$
取对数得到对数似然函数 $\ln L(\theta)$
对参数求导并令导数为零
解方程得到最大似然估计量

例 5：设 $X \sim N(\mu, \sigma^2)$ ，用最大似然估计法估计 $\mu$ 和 $\sigma^2$ 。

解：

似然函数： $L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x_i-\mu)^2}{2\sigma^2}}$
对数似然函数： $\ln L(\mu, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2$
对 $\mu$ 求导： $\frac{\partial \ln L}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n (x_i-\mu) = 0$
解得： $\hat{\mu} = \overline{X}$
对 $\sigma^2$ 求导： $\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n (x_i-\mu)^2 = 0$
解得： $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (x_i-\overline{X})^2$

估计量的性质比较

无偏性与有效性

关系：无偏性和有效性是两个不同的评价标准，一个估计量可能无偏但不有效，也可能有效但有偏。

例 6：对于正态总体 $N(\mu, \sigma^2)$ ：

$\overline{X}$ 是 $\mu$ 的无偏估计量
$\frac{1}{n}\sum_{i=1}^n X_i^2$ 是 $\sigma^2 + \mu^2$ 的无偏估计量，但不是 $\sigma^2$ 的无偏估计量

一致性与有效性

关系：一致性是渐近性质，有效性是有限样本性质。一个估计量可能一致但不有效，也可能有效但不一致。

渐近有效估计量

定义：如果估计量 $\hat{\theta}_n$ 满足：

一致性： $\hat{\theta}_n \xrightarrow{P} \theta$
渐近正态性： $\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, \sigma^2(\theta))$
方差达到克拉美-拉奥下界

则称 $\hat{\theta}_n$ 为渐近有效估计量。

练习题

练习 1

设总体 $X \sim N(\mu, \sigma^2)$ ，样本均值为 $\overline{X}$ ，方差为 $S^2$ ，写出 $\mu$ 和 $\sigma^2$ 的无偏估计量。

参考答案

解题思路：使用样本均值和样本方差作为无偏估计量。

详细步骤：

$\mu$ 的无偏估计量： $\hat{\mu} = \overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$
$\sigma^2$ 的无偏估计量： $\hat{\sigma}^2 = S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$

答案： $\hat{\mu} = \overline{X}$ ， $\hat{\sigma}^2 = S^2$

练习 2

设 $X_1, X_2, \dots, X_n$ 是来自总体 $X \sim Poisson(\lambda)$ 的样本，证明样本均值 $\overline{X}$ 是 $\lambda$ 的无偏估计量。

参考答案

解题思路：使用期望的线性性质。

详细步骤：

$E(\overline{X}) = E(\frac{1}{n}\sum_{i=1}^n X_i) = \frac{1}{n}\sum_{i=1}^n E(X_i)$
由于 $X_i \sim Poisson(\lambda)$ ，所以 $E(X_i) = \lambda$
$E(\overline{X}) = \frac{1}{n} \cdot n\lambda = \lambda$
因此 $\overline{X}$ 是 $\lambda$ 的无偏估计量

答案：证明完成

练习 3

设 $X_1, X_2, \dots, X_n$ 是来自总体 $X \sim N(\mu, \sigma^2)$ 的样本，比较 $\frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^2$ 和 $\frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$ 哪个是 $\sigma^2$ 的无偏估计量。

参考答案

解题思路：计算两个估计量的期望。

详细步骤：

设 $S^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$
已知 $E(S^2) = \sigma^2$ ，即 $\frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$ 是无偏的
设 $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^2$
$E(\hat{\sigma}^2) = E(\frac{n-1}{n}S^2) = \frac{n-1}{n}\sigma^2 \neq \sigma^2$
因此 $\frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^2$ 不是无偏估计量

答案： $\frac{1}{n-1}\sum_{i=1}^n (X_i - \overline{X})^2$ 是无偏估计量

练习 4

设 $X_1, X_2, \dots, X_n$ 是来自总体 $X \sim U(0, \theta)$ 的样本，用矩估计法估计参数 $\theta$ 。

参考答案

解题思路：使用矩估计法，令样本矩等于总体矩。

详细步骤：

总体一阶矩： $E(X) = \frac{\theta}{2}$
样本一阶矩： $\overline{X} = \frac{1}{n}\sum_{i=1}^n X_i$
令 $\overline{X} = \frac{\theta}{2}$
解得： $\hat{\theta} = 2\overline{X}$

答案： $\hat{\theta} = 2\overline{X}$

练习 5

判断估计量 $\hat{\theta}_1, \hat{\theta}_2$ ，若 $Var(\hat{\theta}_1)<Var(\hat{\theta}_2)$ ，哪个更有效？

参考答案

解题思路：比较两个估计量的方差。

详细步骤：

如果 $Var(\hat{\theta}_1) < Var(\hat{\theta}_2)$
且两个估计量都是无偏的
则 $\hat{\theta}_1$ 比 $\hat{\theta}_2$ 更有效

答案： $\hat{\theta}_1$ 更有效