矩估计法与最大似然估计法

矩估计法

矩估计法的基本思想

思想：矩估计法是基于样本矩与总体矩相等的原理来估计参数的方法。其核心思想是用样本矩来估计总体矩，然后通过总体矩与参数的关系来估计参数。

矩估计法的理论基础

理论基础：由大数定律，当样本量足够大时，样本矩会依概率收敛于总体矩，即： $\frac{1}{n}\sum_{i=1}^n X_i^k \xrightarrow{P} E(X^k)$

矩估计法的步骤

步骤：

1. 确定参数个数：设总体分布有 $k$ 个未知参数 $\theta_1, \theta_2, \dots, \theta_k$
2. 计算总体矩：计算总体的一阶矩到 $k$ 阶矩，用参数表示
3. 计算样本矩：计算样本的一阶矩到 $k$ 阶矩
4. 建立方程：令样本矩等于总体矩，建立 $k$ 个方程
5. 解方程：解这 $k$ 个方程，得到参数估计量

矩估计法的优缺点

优点：

• 计算简单，易于理解
• 不需要知道总体分布的具体形式
• 适用于各种分布

缺点：

• 可能不是最优估计量
• 对于某些分布，矩估计量可能不存在
• 高阶矩的计算可能不稳定

矩估计法的实例

例 1：正态分布参数估计

总体：$X \sim N(\mu, \sigma^2)$

步骤：

1. 总体一阶矩：$E(X) = \mu$
2. 总体二阶矩：$E(X^2) = \mu^2 + \sigma^2$
3. 样本一阶矩：$\frac{1}{n}\sum_{i=1}^n X_i = \overline{X}$
4. 样本二阶矩：$\frac{1}{n}\sum_{i=1}^n X_i^2$
5. 建立方程：
   • $\overline{X} = \mu$
   • $\frac{1}{n}\sum_{i=1}^n X_i^2 = \mu^2 + \sigma^2$
6. 解得：
   • $\hat{\mu} = \overline{X}$
   • $\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n X_i^2 - \overline{X}^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \overline{X})^2$

例 2：泊松分布参数估计

总体：$X \sim Poisson(\lambda)$

步骤：

1. 总体一阶矩：$E(X) = \lambda$
2. 样本一阶矩：$\frac{1}{n}\sum_{i=1}^n X_i = \overline{X}$
3. 建立方程：$\overline{X} = \lambda$
4. 解得：$\hat{\lambda} = \overline{X}$

例 3：指数分布参数估计

总体：$X \sim Exp(\lambda)$

步骤：

1. 总体一阶矩：$E(X) = \frac{1}{\lambda}$
2. 样本一阶矩：$\frac{1}{n}\sum_{i=1}^n X_i = \overline{X}$
3. 建立方程：$\overline{X} = \frac{1}{\lambda}$
4. 解得：$\hat{\lambda} = \frac{1}{\overline{X}}$

例 4：均匀分布参数估计

总体：$X \sim U(a,b)$

步骤：

1. 总体一阶矩：$E(X) = \frac{a+b}{2}$
2. 总体二阶矩：$E(X^2) = \frac{a^2 + ab + b^2}{3}$
3. 样本一阶矩：$\frac{1}{n}\sum_{i=1}^n X_i = \overline{X}$
4. 样本二阶矩：$\frac{1}{n}\sum_{i=1}^n X_i^2$
5. 建立方程：
   • $\overline{X} = \frac{a+b}{2}$
   • $\frac{1}{n}\sum_{i=1}^n X_i^2 = \frac{a^2 + ab + b^2}{3}$
6. 解得：
   • $\hat{a} = \overline{X} - \sqrt{3(\frac{1}{n}\sum_{i=1}^n X_i^2 - \overline{X}^2)}$
   • $\hat{b} = \overline{X} + \sqrt{3(\frac{1}{n}\sum_{i=1}^n X_i^2 - \overline{X}^2)}$

最大似然估计法

最大似然估计法的基本思想

思想：最大似然估计法是基于”最可能产生观测样本的参数值就是真值”的思想。它选择使样本观测值出现概率最大的参数值作为估计量。

似然函数

定义：设总体 $X$ 的概率密度函数为 $f(x;\theta)$，样本为 $X_1, X_2, \dots, X_n$，则似然函数定义为： $L(\theta) = \prod_{i=1}^n f(X_i;\theta)$

离散情况：如果 $X$ 是离散随机变量，概率函数为 $P(X=x;\theta)$，则： $L(\theta) = \prod_{i=1}^n P(X=X_i;\theta)$

最大似然估计法的步骤

步骤：

1. 构造似然函数：$L(\theta) = \prod_{i=1}^n f(X_i;\theta)$
2. 取对数：$\ln L(\theta) = \sum_{i=1}^n \ln f(X_i;\theta)$
3. 求导：$\frac{\partial \ln L(\theta)}{\partial \theta} = 0$
4. 解方程：解上述方程得到最大似然估计量

最大似然估计法的性质

性质 1：不变性 如果 $\hat{\theta}$ 是 $\theta$ 的最大似然估计量，$g(\theta)$ 是 $\theta$ 的函数，则 $g(\hat{\theta})$ 是 $g(\theta)$ 的最大似然估计量。

性质 2：渐近性质 在正则条件下，最大似然估计量具有：

• 一致性：$\hat{\theta}_n \xrightarrow{P} \theta$
• 渐近正态性：$\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} N(0, I^{-1}(\theta))$
• 渐近有效性：方差达到克拉美-拉奥下界

最大似然估计法的实例

例 1：正态分布参数估计

总体：$X \sim N(\mu, \sigma^2)$

步骤：

1. 似然函数： $L(\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(X_i-\mu)^2}{2\sigma^2}}$
2. 对数似然函数： $\ln L(\mu, \sigma^2) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (X_i-\mu)^2$
3. 对 $\mu$ 求导： $\frac{\partial \ln L}{\partial \mu} = \frac{1}{\sigma^2}\sum_{i=1}^n (X_i-\mu) = 0$
4. 解得：$\hat{\mu} = \overline{X}$
5. 对 $\sigma^2$ 求导： $\frac{\partial \ln L}{\partial \sigma^2} = -\frac{n}{2\sigma^2} + \frac{1}{2\sigma^4}\sum_{i=1}^n (X_i-\mu)^2 = 0$
6. 解得：$\hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n (X_i-\overline{X})^2$

例 2：泊松分布参数估计

总体：$X \sim Poisson(\lambda)$

步骤：

1. 似然函数： $L(\lambda) = \prod_{i=1}^n \frac{\lambda^{X_i} e^{-\lambda}}{X_i!}$
2. 对数似然函数： $\ln L(\lambda) = \sum_{i=1}^n (X_i \ln \lambda - \lambda - \ln X_i!) = \ln \lambda \sum_{i=1}^n X_i - n\lambda - \sum_{i=1}^n \ln X_i!$
3. 求导： $\frac{\partial \ln L}{\partial \lambda} = \frac{1}{\lambda}\sum_{i=1}^n X_i - n = 0$
4. 解得：$\hat{\lambda} = \overline{X}$

例 3：指数分布参数估计

总体：$X \sim Exp(\lambda)$

步骤：

1. 似然函数： $L(\lambda) = \prod_{i=1}^n \lambda e^{-\lambda X_i} = \lambda^n e^{-\lambda \sum_{i=1}^n X_i}$
2. 对数似然函数： $\ln L(\lambda) = n \ln \lambda - \lambda \sum_{i=1}^n X_i$
3. 求导： $\frac{\partial \ln L}{\partial \lambda} = \frac{n}{\lambda} - \sum_{i=1}^n X_i = 0$
4. 解得：$\hat{\lambda} = \frac{n}{\sum_{i=1}^n X_i} = \frac{1}{\overline{X}}$

例 4：伯努利分布参数估计

总体：$X \sim B(1,p)$

步骤：

1. 似然函数： $L(p) = \prod_{i=1}^n p^{X_i}(1-p)^{1-X_i} = p^{\sum_{i=1}^n X_i}(1-p)^{n-\sum_{i=1}^n X_i}$
2. 对数似然函数： $\ln L(p) = \sum_{i=1}^n X_i \ln p + (n-\sum_{i=1}^n X_i) \ln(1-p)$
3. 求导： $\frac{\partial \ln L}{\partial p} = \frac{\sum_{i=1}^n X_i}{p} - \frac{n-\sum_{i=1}^n X_i}{1-p} = 0$
4. 解得：$\hat{p} = \frac{1}{n}\sum_{i=1}^n X_i = \overline{X}$

两种方法的比较

计算复杂度

矩估计法：计算简单，只需要计算样本矩 最大似然估计法：计算相对复杂，需要求导和解方程

估计效果

矩估计法：可能不是最优估计量 最大似然估计法：在正则条件下是最优估计量

适用性

矩估计法：适用于各种分布，不需要知道具体形式 最大似然估计法：需要知道分布的具体形式

渐近性质

矩估计法：具有一致性，但不一定具有渐近有效性 最大似然估计法：具有一致性、渐近正态性和渐近有效性

练习题

练习 1

用矩估计法估计参数：已知样本 $x_1, x_2, \dots, x_n$ 来自 $X \sim Poisson(\lambda)$。

练习 2

用最大似然估计法估计参数：已知样本 $x_1, x_2, \dots, x_n$ 来自 $X \sim N(\mu, \sigma^2)$。

练习 3

设 $X_1, X_2, \dots, X_n$ 是来自总体 $X \sim U(0, \theta)$ 的样本，用矩估计法估计参数 $\theta$。

练习 4

设 $X_1, X_2, \dots, X_n$ 是来自总体 $X \sim Exp(\lambda)$ 的样本，用最大似然估计法估计参数 $\lambda$。

练习 5

比较矩估计法和最大似然估计法的优缺点。