在统计学与概率论中，协方差矩阵（covariance matrix）是一个方阵，代表着任两列随机变量（英语：Multivariate random variable）间的协方差，是协方差的直接推广。

定义

将之以矩形表示的话就是：

${\displaystyle \operatorname {\mathbf {cov} } (X,Y)={\begin{bmatrix}\operatorname {cov} (x_{1},y_{1})&\operatorname {cov} (x_{1},y_{2})&\cdots &\operatorname {cov} (x_{1},y_{n})\\\operatorname {cov} (x_{2},y_{1})&\operatorname {cov} (x_{2},y_{2})&\cdots &\operatorname {cov} (x_{2},y_{n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {cov} (x_{m},y_{1})&\operatorname {cov} (x_{m},y_{2})&\cdots &\operatorname {cov} (x_{m},y_{n})\end{bmatrix))}$

${\displaystyle ={\begin{bmatrix}\mathrm {E} [(x_{1}-\mu _{1})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{1}-\mu _{1})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{1}-\mu _{1})(y_{n}-\nu _{n})]\\\mathrm {E} [(x_{2}-\mu _{2})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{2}-\mu _{2})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{2}-\mu _{2})(y_{n}-\nu _{n})]\\\vdots &\vdots &\ddots &\vdots \\\mathrm {E} [(x_{m}-\mu _{m})(y_{1}-\nu _{1})]&\mathrm {E} [(x_{m}-\mu _{m})(y_{2}-\nu _{2})]&\cdots &\mathrm {E} [(x_{m}-\mu _{m})(y_{n}-\nu _{n})]\end{bmatrix))}$

根据测度积分的线性性质，协方差矩阵还可以进一步化简为：

${\displaystyle \operatorname {\mathbf {cov} } (X,Y)={\left[\,\operatorname {E} (x_{i}y_{j})-\mu _{i}\nu _{j}\,\right]}_{n\times n))$

矩阵表示法

以上定义所述的随机变量序列 ${\displaystyle X}$ 和 ${\displaystyle Y}$ ，也可分别以用行向量 ${\displaystyle \mathbf {X} :={\left[x_{i}\right]}_{m))$ 与 ${\displaystyle \mathbf {Y} :={\left[y_{j}\right]}_{n))$ 表示，换句话说：

${\displaystyle \mathbf {X} :={\begin{bmatrix}x_{1}\\x_{2}\\\vdots \\x_{m}\end{bmatrix))}$ ${\displaystyle \mathbf {Y} :={\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix))}$

这样的话，对于 ${\displaystyle m\times n}$ 个定义在 ${\displaystyle \Omega }$ 上的随机变量 ${\displaystyle a_{ij))$ 所组成的矩阵 ${\displaystyle \mathbf {A} ={\left[\,a_{ij}\,\right]}_{m\times n))$ ， 定义：

${\displaystyle \mathrm {E} [\mathbf {A} ]:={\left[\,\operatorname {E} (a_{ij})\,\right]}_{m\times n))$

也就是说

${\displaystyle \mathrm {E} [\mathbf {A} ]:={\begin{bmatrix}\operatorname {E} (a_{11})&\operatorname {E} (a_{12})&\cdots &\operatorname {E} (a_{1n})\\\operatorname {E} (a_{21})&\operatorname {E} (a_{22})&\cdots &\operatorname {E} (a_{2n})\\\vdots &\vdots &\ddots &\vdots \\\operatorname {E} (a_{m1})&\operatorname {E} (a_{m2})&\cdots &\operatorname {E} (a_{mn})\end{bmatrix))}$

那上小节定义的协方差矩阵就可以记为：

${\displaystyle \operatorname {\mathbf {cov} } (X,Y)=\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {Y} -\mathrm {E} [\mathbf {Y} ]\right)^{\rm {T))\right]}$

所以协方差矩阵也可对 ${\displaystyle \mathbf {X} }$ 与 ${\displaystyle \mathbf {Y} }$ 来定义：

${\displaystyle \operatorname {\mathbf {cov} } (\mathbf {X} ,\mathbf {Y} ):=\mathrm {E} \left[\left(\mathbf {X} -\mathrm {E} [\mathbf {X} ]\right)\left(\mathbf {Y} -\mathrm {E} [\mathbf {Y} ]\right)^{\rm {T))\right]}$

术语与符号分歧

也有人把以下的 ${\displaystyle \mathbf {\Sigma } _{X))$ 称为协方差矩阵：

${\displaystyle {\begin{aligned}\mathbf {\Sigma } _{X}&:={\left[\operatorname {cov} (x_{i},x_{j})\right]}_{m\times m}\\&=\operatorname {\mathbf {cov} } (X,X)\end{aligned))}$

但本页面沿用威廉·费勒的说法，把 ${\displaystyle \mathbf {\Sigma } _{X))$ 称为 ${\displaystyle X}$ 的方差（variance of random vector），来跟 ${\displaystyle \operatorname {\mathbf {cov} } (X,Y)}$ 作区别。这是因为：

${\displaystyle \operatorname {cov} (x_{i},x_{i})=\operatorname {E} [{(x_{i}-\mu _{i})}^{2}]=\operatorname {var} (x_{i})}$

换句话说， ${\displaystyle \mathbf {\Sigma } _{X))$ 的对角线由随机变量 ${\displaystyle x_{i))$ 的方差所组成。据此，也有人也把 ${\displaystyle \operatorname {\mathbf {cov} } (X,Y)}$ 称为方差-协方差矩阵（variance–covariance matrix）。

更有人因为方差和离差的相关性，含混的将 ${\displaystyle \operatorname {\mathbf {cov} } (X,Y)}$ 称为离差矩阵。

性质

${\displaystyle \mathbf {\Sigma } =\operatorname {\mathbf {cov} } (X,X)}$ 有以下的基本性质：

1. ${\displaystyle \mathbf {\Sigma } =\mathrm {E} (\mathbf {X} \mathbf {X} ^{T})-\mathrm {E} (\mathbf {X} ){[\mathrm {E} (\mathbf {X} )]}^{T))$
2. ${\displaystyle \mathbf {\Sigma } }$是半正定的和对称的矩阵。
3. ${\displaystyle \operatorname {var} (\mathbf {a^{T)) \mathbf {X} )=\mathbf {a^{T)) \operatorname {var} (\mathbf {X} )\mathbf {a} }$
4. ${\displaystyle \mathbf {\Sigma } \geq 0}$
5. ${\displaystyle \operatorname {var} (\mathbf {AX} +\mathbf {a} )=\mathbf {A} \operatorname {var} (\mathbf {X} )\mathbf {A^{T)) }$
6. ${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )^{T))$
7. ${\displaystyle \operatorname {cov} (\mathbf {X_{1)) +\mathbf {X_{2)) ,\mathbf {Y} )=\operatorname {cov} (\mathbf {X_{1)) ,\mathbf {Y} )+\operatorname {cov} (\mathbf {X_{2)) ,\mathbf {Y} )}$
8. 若 ${\displaystyle p=q}$，则有${\displaystyle \operatorname {var} (\mathbf {X} +\mathbf {Y} )=\operatorname {var} (\mathbf {X} )+\operatorname {cov} (\mathbf {X} ,\mathbf {Y} )+\operatorname {cov} (\mathbf {Y} ,\mathbf {X} )+\operatorname {var} (\mathbf {Y} )}$
9. ${\displaystyle \operatorname {cov} (\mathbf {AX} ,\mathbf {BX} )=\mathbf {A} \operatorname {cov} (\mathbf {X} ,\mathbf {X} )\mathbf {B} ^{T))$
10. 若${\displaystyle \mathbf {X} }$ 与${\displaystyle \mathbf {Y} }$ 是独立的，则有${\displaystyle \operatorname {cov} (\mathbf {X} ,\mathbf {Y} )=0}$
11. ${\displaystyle \mathbf {\Sigma } =\mathbf {\Sigma } ^{T))$

尽管协方差矩阵很简单，可它却是很多领域里的非常有力的工具。它能导出一个变换矩阵，这个矩阵能使数据完全去相关(decorrelation)。从不同的角度看，也就是说能够找出一组最佳的基以紧凑的方式来表达数据。(完整的证明请参考瑞利商)。 这个方法在统计学中被称为主成分分析(principal components analysis)，在图像处理中称为Karhunen-Loève 变换(KL-变换)。

复随机向量

均值为${\displaystyle \mu }$的复随机标量变量的方差定义如下（使用共轭复数）：

${\displaystyle \operatorname {var} (z)=\operatorname {E} \left[(z-\mu )(z-\mu )^{*}\right]}$

其中复数${\displaystyle z}$的共轭记为${\displaystyle z^{*))$。

如果${\displaystyle Z}$ 是一个复列向量,则取其共轭转置，得到一个方阵:

${\displaystyle \operatorname {E} \left[(Z-\mu )(Z-\mu )^{*}\right]}$

其中${\displaystyle Z^{*))$为共轭转置, 它对于标量也成立，因为标量的转置还是标量。

估计

多元正态分布的协方差矩阵的估计的推导非常精致. 它需要用到谱定义以及为什么把标量看做${\displaystyle 1\times 1}$矩阵的迹更好的原因。参见协方差矩阵的估计。

外部链接

• Covariance Matrix（页面存档备份，存于互联网档案馆） at Mathworld