切比雪夫不等式

切比雪夫不等式的定义

切比雪夫不等式的表述

定理：设随机变量 $X$ 的期望为 $\mu$，方差为 $\sigma^2$，则对任意正数 $\varepsilon$，有： $P(|X - \mu| \geq \varepsilon) \leq \frac{\sigma^2}{\varepsilon^2}$

等价形式

形式 1：$P(|X - \mu| < \varepsilon) \geq 1 - \frac{\sigma^2}{\varepsilon^2}$

形式 2：$P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}$，其中 $k > 0$

切比雪夫不等式的直观理解

理解：切比雪夫不等式给出了随机变量偏离其期望值的概率的上界。它告诉我们，随机变量取值偏离期望越远，这种偏离的概率就越小。

切比雪夫不等式的证明

离散型随机变量的证明

证明： $P(|X - \mu| \geq \varepsilon) = \sum_{|x_i - \mu| \geq \varepsilon} P(X = x_i)$ $\leq \sum_{|x_i - \mu| \geq \varepsilon} \frac{(x_i - \mu)^2}{\varepsilon^2} P(X = x_i)$ $\leq \frac{1}{\varepsilon^2} \sum_{i=1}^{\infty} (x_i - \mu)^2 P(X = x_i) = \frac{\sigma^2}{\varepsilon^2}$

连续型随机变量的证明

证明： $P(|X - \mu| \geq \varepsilon) = \int_{|x - \mu| \geq \varepsilon} f(x) dx$ $\leq \int_{|x - \mu| \geq \varepsilon} \frac{(x - \mu)^2}{\varepsilon^2} f(x) dx$ $\leq \frac{1}{\varepsilon^2} \int_{-\infty}^{+\infty} (x - \mu)^2 f(x) dx = \frac{\sigma^2}{\varepsilon^2}$

证明的关键思想

关键思想：

1. 在 $|X - \mu| \geq \varepsilon$ 的区域，有 $(X - \mu)^2 \geq \varepsilon^2$
2. 因此 $\frac{(X - \mu)^2}{\varepsilon^2} \geq 1$
3. 利用这个不等式来估计概率

切比雪夫不等式的性质

普适性

性质 1：切比雪夫不等式适用于任意分布的随机变量，只要其期望和方差存在。

保守性

性质 2：切比雪夫不等式给出的上界通常比较保守，即实际概率可能远小于这个上界。

对称性

性质 3：切比雪夫不等式对随机变量的分布没有特殊要求，只依赖于期望和方差。

切比雪夫不等式的应用

在概率估计中的应用

应用 1：估计随机变量偏离期望的概率

例 1：设随机变量 $X$ 的期望为 $0$，方差为 $4$，估计 $P(|X| \geq 3)$ 的上界。

解： $P(|X| \geq 3) \leq \frac{4}{9} \approx 0.444$

在统计推断中的应用

应用 2：证明大数定律

应用 3：估计样本均值的精度

在质量控制中的应用

应用 4：估计产品质量的波动范围

应用 5：制定质量控制标准

切比雪夫不等式的局限性

保守性

局限性 1：切比雪夫不等式给出的上界通常比较保守，对于特定分布可能有更精确的估计。

信息利用不充分

局限性 2：切比雪夫不等式只利用了期望和方差信息，没有利用分布的其他特征。

适用性限制

局限性 3：对于某些特殊分布，可能有更好的不等式。

与其他不等式的关系

与马尔可夫不等式的关系

马尔可夫不等式：设 $X$ 是非负随机变量，则对任意 $a > 0$，有： $P(X \geq a) \leq \frac{E(X)}{a}$

关系：切比雪夫不等式是马尔可夫不等式的特例，通过将 $X$ 替换为 $(X - \mu)^2$ 得到。

与霍夫丁不等式的关系

霍夫丁不等式：对于有界随机变量，霍夫丁不等式给出了更精确的估计。

切比雪夫不等式的推广

多维切比雪夫不等式

推广 1：对于多维随机变量，也有相应的切比雪夫不等式。

条件切比雪夫不等式

推广 2：在给定条件下，也有相应的切比雪夫不等式。

练习题

练习 1

用切比雪夫不等式估计 $E(X)=0, D(X)=4$ 时 $P(|X|\geq3)$ 的上界。

练习 2

设随机变量 $X$ 的期望为 $5$，方差为 $9$，用切比雪夫不等式估计 $P(2 < X < 8)$ 的下界。

练习 3

设随机变量 $X$ 的期望为 $10$，方差为 $16$，用切比雪夫不等式估计 $P(|X - 10| \geq 8)$ 的上界。

练习 4

证明：对于任意随机变量 $X$，如果 $E(X) = \mu$，$D(X) = \sigma^2$，则对任意 $k > 0$，有： $P(|X - \mu| \geq k\sigma) \leq \frac{1}{k^2}$

练习 5

设随机变量 $X$ 服从正态分布 $N(\mu, \sigma^2)$，比较切比雪夫不等式给出的上界与实际概率的差异。