协方差与相关系数

协方差的定义

协方差的数学定义

定义：设 $X$ 和 $Y$ 是两个随机变量，如果 $E(X)$ 和 $E(Y)$ 都存在，则称： $Cov(X,Y) = E[(X - E(X))(Y - E(Y))]$

为 $X$ 和 $Y$ 的协方差。

协方差的计算公式

离散型随机变量： $Cov(X,Y) = \sum_{i,j} (x_i - E(X))(y_j - E(Y))P(X = x_i, Y = y_j)$

连续型随机变量： $Cov(X,Y) = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} (x - E(X))(y - E(Y))f(x,y) dx dy$

协方差的简化计算公式

公式：$Cov(X,Y) = E(XY) - E(X)E(Y)$

证明： $Cov(X,Y) = E[(X - E(X))(Y - E(Y))] = E(XY - XE(Y) - YE(X) + E(X)E(Y))$ $= E(XY) - E(X)E(Y) - E(Y)E(X) + E(X)E(Y) = E(XY) - E(X)E(Y)$

协方差的直观理解

理解：协方差反映了两个随机变量之间的线性相关程度。正值表示正相关，负值表示负相关，零值表示不相关。

协方差的例子

例 1：设 $X$ 和 $Y$ 的联合分布律为：

求 $Cov(X,Y)$。

解：

1. $E(X) = 0 \times 0.5 + 1 \times 0.5 = 0.5$
2. $E(Y) = 0 \times 0.5 + 1 \times 0.5 = 0.5$
3. $E(XY) = 0 \times 0 \times 0.3 + 0 \times 1 \times 0.2 + 1 \times 0 \times 0.2 + 1 \times 1 \times 0.3 = 0.3$
4. $Cov(X,Y) = E(XY) - E(X)E(Y) = 0.3 - 0.5 \times 0.5 = 0.05$

协方差的性质

对称性

性质 1：$Cov(X,Y) = Cov(Y,X)$

证明：$Cov(X,Y) = E[(X - E(X))(Y - E(Y))] = E[(Y - E(Y))(X - E(X))] = Cov(Y,X)$

线性性

性质 2：$Cov(aX + b, cY + d) = ac \cdot Cov(X,Y)$，其中 $a, b, c, d$ 是常数。

证明： $Cov(aX + b, cY + d) = E[(aX + b - E(aX + b))(cY + d - E(cY + d))]$ $= E[(aX - aE(X))(cY - cE(Y))] = ac \cdot E[(X - E(X))(Y - E(Y))] = ac \cdot Cov(X,Y)$

可加性

性质 3：$Cov(X_1 + X_2, Y) = Cov(X_1, Y) + Cov(X_2, Y)$

证明： $Cov(X_1 + X_2, Y) = E[(X_1 + X_2 - E(X_1 + X_2))(Y - E(Y))]$ $= E[(X_1 - E(X_1) + X_2 - E(X_2))(Y - E(Y))]$ $= E[(X_1 - E(X_1))(Y - E(Y))] + E[(X_2 - E(X_2))(Y - E(Y))] = Cov(X_1, Y) + Cov(X_2, Y)$

与方差的关系

性质 4：$Cov(X, X) = D(X)$

证明：$Cov(X, X) = E[(X - E(X))^2] = D(X)$

独立随机变量的协方差

性质 5：如果 $X$ 和 $Y$ 独立，则 $Cov(X, Y) = 0$

证明：如果 $X$ 和 $Y$ 独立，则 $E(XY) = E(X)E(Y)$，所以 $Cov(X, Y) = E(XY) - E(X)E(Y) = 0$

注意：逆命题不成立，即 $Cov(X, Y) = 0$ 不一定意味着 $X$ 和 $Y$ 独立。

相关系数的定义

相关系数的数学定义

定义：设 $X$ 和 $Y$ 是两个随机变量，$D(X) > 0$，$D(Y) > 0$，则称： $\rho_{XY} = \frac{Cov(X,Y)}{\sqrt{D(X)D(Y)}} = \frac{Cov(X,Y)}{\sigma_X \sigma_Y}$

为 $X$ 和 $Y$ 的相关系数，其中 $\sigma_X = \sqrt{D(X)}$，$\sigma_Y = \sqrt{D(Y)}$。

相关系数的性质

性质 1：$-1 \leq \rho_{XY} \leq 1$

证明：利用柯西-施瓦茨不等式： $|E[(X - E(X))(Y - E(Y))]| \leq \sqrt{E[(X - E(X))^2]E[(Y - E(Y))^2]}$ 所以 $|Cov(X,Y)| \leq \sigma_X \sigma_Y$，即 $|\rho_{XY}| \leq 1$。

性质 2：$\rho_{XY} = 1$ 当且仅当 $Y = aX + b$，其中 $a > 0$

性质 3：$\rho_{XY} = -1$ 当且仅当 $Y = aX + b$，其中 $a < 0$

性质 4：$\rho_{XY} = 0$ 当且仅当 $Cov(X,Y) = 0$

相关系数的直观理解

理解：

• $\rho_{XY} = 1$：完全正相关
• $\rho_{XY} = -1$：完全负相关
• $\rho_{XY} = 0$：不相关
• $0 < \rho_{XY} < 1$：正相关
• $-1 < \rho_{XY} < 0$：负相关

相关系数的例子

例 2：继续例 1，求 $\rho_{XY}$。

解：

1. $D(X) = E(X^2) - [E(X)]^2 = 0.5 - 0.25 = 0.25$
2. $D(Y) = E(Y^2) - [E(Y)]^2 = 0.5 - 0.25 = 0.25$
3. $\sigma_X = \sigma_Y = \sqrt{0.25} = 0.5$
4. $\rho_{XY} = \frac{Cov(X,Y)}{\sigma_X \sigma_Y} = \frac{0.05}{0.5 \times 0.5} = 0.2$

协方差矩阵

二维随机变量的协方差矩阵

定义：设 $(X, Y)$ 是二维随机变量，则其协方差矩阵为：

协方差矩阵的性质

性质 1：协方差矩阵是对称矩阵

性质 2：协方差矩阵是半正定矩阵

性质 3：如果 $X$ 和 $Y$ 独立，则协方差矩阵是对角矩阵

多维随机变量的协方差

多维随机变量的协方差矩阵

定义：设 $X = (X_1, X_2, \dots, X_n)^T$ 是 $n$ 维随机变量，则其协方差矩阵为：

多维随机变量的性质

性质 1：协方差矩阵是对称矩阵

性质 2：协方差矩阵是半正定矩阵

性质 3：如果 $X_1, X_2, \dots, X_n$ 两两独立，则协方差矩阵是对角矩阵

协方差和相关系数的应用

在统计中的应用

应用 1：线性回归 相关系数是衡量线性关系强度的重要指标。

应用 2：主成分分析 协方差矩阵是主成分分析的基础。

应用 3：多元统计分析 协方差矩阵是多元统计分析的核心。

在金融中的应用

应用 4：投资组合理论 协方差矩阵用于计算投资组合的风险。

应用 5：风险管理 相关系数用于评估不同资产之间的风险分散效果。

练习题

练习 1

已知 $E(X)=1, E(Y)=2, Cov(X,Y)=3, \sigma_X=2, \sigma_Y=1$，求 $\rho_{XY}$。

练习 2

已知随机变量 $X$ 和 $Y$ 的联合分布律为：

求 $Cov(X,Y)$。

练习 3

已知 $X$ 和 $Y$ 独立，$D(X) = 4$，$D(Y) = 9$，求 $D(X + Y)$。

练习 4

已知随机变量 $X$ 和 $Y$ 的相关系数为 $0.8$，$D(X) = 4$，$D(Y) = 9$，求 $Cov(X,Y)$。

练习 5

证明：如果 $X$ 和 $Y$ 独立，则 $\rho_{XY} = 0$。