多元正态分布

**多元正态分布**
	概率密度函数; Many samples from a multivariate (bivariate) Gaussian distribution centered at (1,3) with a standard deviation of 3 in roughly the (0.878, 0.478) direction (longer vector) and of 1 in the second direction (shorter vector, orthogonal to the longer vector).
记号
参数	μ ∈ RN — 位置; Σ ∈ RN×N — 协方差矩阵 (半正定)
值域	x ∈ μ+span(Σ) ⊆ RN
概率密度函数	; （仅当 Σ 为正定矩阵时）
累积分布函数	解析表达式不存在
期望	μ
众数	μ
方差	Σ
熵
矩生成函数
特征函数

多变量正态分布亦称为多变量高斯分布。它是单维正态分布向多维的推广。它同矩阵正态分布有紧密的联系。

一般形式

N维随机向量 ${\displaystyle \ X=[X_{1},\dots ,X_{N}]^{T))$ 如果服从多变量正态分布，必须满足下面的三个等价条件：

任何线性组合 ${\displaystyle \ Y=a_{1}X_{1}+\cdots +a_{N}X_{N))$ 服从正态分布。
存在随机向量 ${\displaystyle \ Z=[Z_{1},\dots ,Z_{M}]^{T))$ ( 它的每个元素服从独立标准正态分布），向量 ${\displaystyle \ \mu =[\mu _{1},\dots ,\mu _{N}]^{T))$ 及 $N\times M$ 矩阵 $\ A$ 满足 $\ X=AZ+\mu$ .
存在 $\mu$ 和一个对称半正定阵 $\ \Sigma$ 满足 $\ X$ 的特征函数
${\displaystyle \phi _{X}\left(u;\mu ,\Sigma \right)=\mathrm {e} ^{i\mu ^{T}u-{\frac {1}{2))u^{T}\Sigma u))$

如果 $\ \Sigma$ 是非奇异的，那么该分布可以由以下的概率密度函数来描述：^[1]

f_{\mathbf {x} }(x_{1},\ldots ,x_{k})={\frac {1}{\sqrt {(2\pi )^{k}|{\boldsymbol {\Sigma ))|))}\mathrm {e} ^{-{\frac {1}{2))({\mathbf {x} }-{\boldsymbol {\mu )))^{\mathrm {T} }{\boldsymbol {\Sigma ))^{-1}({\mathbf {x} }-{\boldsymbol {\mu )))},

注意这里的 $|\Sigma |$ 表示协方差矩阵的行列式。

在二维非奇异的情况下（k = rank(Σ) = 2），向量 [X Y]′ 的概率密度函数为：

{\displaystyle f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2))))}\mathrm {e} ^{-{\frac {1}{2(1-\rho ^{2})))\left[({\frac {x-\mu _{X)){\sigma _{X))})^{2}-2\rho ({\frac {x-\mu _{X)){\sigma _{X))})({\frac {y-\mu _{Y)){\sigma _{Y))})+({\frac {y-\mu _{Y)){\sigma _{Y))})^{2}\right]))

其中 ρ 是 X 与 Y 之间的相关系数， $\sigma _{X}>0$ 且 $\sigma _{Y}>0$ 。在这种情况下，

{\boldsymbol {\mu ))={\begin{pmatrix}\mu _{X}\\\mu _{Y}\end{pmatrix)),\quad {\boldsymbol {\Sigma ))={\begin{pmatrix}\sigma _{X}^{2}&\rho \sigma _{X}\sigma _{Y}\\\rho \sigma _{X}\sigma _{Y}&\sigma _{Y}^{2}\end{pmatrix)).

分类

概率密度函数 Many samples from a multivariate (bivariate) Gaussian distribution centered at (1,3) with a standard deviation of 3 in roughly the (0.878, 0.478) direction (longer vector) and of 1 in the second direction (shorter vector, orthogonal to the longer vector).
记号	${\mathcal {N))({\boldsymbol {\mu )),\,{\boldsymbol {\Sigma )))$
参数	μ ∈ R^N — 位置 Σ ∈ R^N×N — 协方差矩阵 (半正定)
值域	x ∈ μ+span(Σ) ⊆ R^N
概率密度函数	$(2\pi )^{-{\frac {N}{2))}\|{\boldsymbol {\Sigma ))\|^{-{\frac {1}{2))}\,e^{-{\frac {1}{2))(\mathbf {x} -{\boldsymbol {\mu )))'{\boldsymbol {\Sigma ))^{-1}(\mathbf {x} -{\boldsymbol {\mu )))},$ （仅当 Σ 为正定矩阵时）
累积分布函数	解析表达式不存在
期望	μ
众数	μ
方差	Σ
熵	${\frac {1}{2))\ln((2\pi e)^{N}\|{\boldsymbol {\Sigma ))\|)$
矩生成函数	${\displaystyle \exp \!{\Big (}{\boldsymbol {\mu ))'\mathbf {t} +{\tfrac {1}{2))\mathbf {t} '{\boldsymbol {\Sigma ))\mathbf {t} {\Big )))$
特征函数	${\displaystyle \exp \!{\Big (}i{\boldsymbol {\mu ))'\mathbf {t} -{\tfrac {1}{2))\mathbf {t} '{\boldsymbol {\Sigma ))\mathbf {t} {\Big )))$