19 多元正态分布：由均值向量和协方差矩阵决定的「高维钟形曲线」 · 第4讲

这一页在讲什么

人话版一句话版

一元正态 $N (μ, σ^{2})$ 由均值和方差决定。多元正态描述一个随机向量 $(X_{1}, \dots, X_{n}) ，$ 由均值向量 $μ$ 和协方差矩阵 $Σ$ 决定，密度是 $\frac{1}{( 2 π ) ^{n /2} ( d e t Σ ) ^{1/2}} e^{- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)} 。$ 二元时它是一座「山」，等高线是椭圆。这一页给出定义，并提出本讲最后两页要证明的结论：对多元正态，协方差为 0 ⇔ 独立。

位置：第 3 部分的最后一个主题，也是本讲目标 ④（第 3 页）。
为什么放在「独立性」里：一般来说协方差为 0（不相关）推不出独立；多元正态是最重要的例外，而证明要用到第 17 页的「联合分布 = 乘积测度 ⇔ 独立」。
后面：第 20 页证明二元情形，第 21 页证明多元情形。

先补基础

基础补课向量、转置与矩阵乘法

列向量： $x = x_{1} ⋮ x_{n} ，$ 课件说「把 $R^{n}$ 的元素看成列向量」就是这个意思。
转置 $x^{T} = (x_{1}, \dots, x_{n}) ：$ 把列变成行。
矩阵乘向量： $n \times n$ 矩阵 $A = (a_{ij})$ 乘 $x ，$ 得到第 $i$ 个分量为 $\sum_{j} a_{ij} x_{j}$ 的列向量。
二次型 $x^{T} A x = \sum_{i, j} a_{ij} x_{i} x_{j} ，$ 结果是一个数。例： $A = (2113) ，$ $x^{T} A x = 2 x_{1}^{2} + 2 x_{1} x_{2} + 3 x_{2}^{2} 。$

基础补课对称、行列式、逆矩阵（2×2 情形）

设 $A = (a c b d) 。$

对称： $A^{T} = A ，$ 即 $b = c 。$
行列式： $det A = a d - b c 。$
逆矩阵： $det A \neq = 0$ 时， $A^{- 1} = \frac{1}{a d - b c} (d - c - b a) ，$ 满足 $A A^{- 1} = I$ （单位矩阵）。
对角矩阵（只有对角线非零）： $det =$ 对角元之积，逆矩阵 = 对角元取倒数。

基础补课正定矩阵

对称矩阵 $Σ$ 正定（positive definite），指对每个非零向量 $x ，$ $x^{T} Σ x > 0 。$

2×2 情形的判别： $Σ = (a b b d)$ 正定 ⇔ $a > 0$ 且 $a d - b^{2} > 0 。$
例： $(2112)$ 正定（ $2 > 0 ，$ $4 - 1 = 3 > 0 ）；$ $(1221)$ 不正定（ $1 - 4 < 0 ），$ 取 $x = (1, - 1)^{T}$ 得 $x^{T} Σ x = 1 - 4 + 1 = - 2 < 0 。$
正定保证 $det Σ > 0 、$ $Σ^{- 1}$ 存在并且也正定，于是指数 $- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ) \leq 0 ，$ 密度在 $x = μ$ 处最大，往外衰减。

基础补课协方差与相关系数（回顾）

$Cov (X, Y) = E [(X - E X) (Y - E Y)] ；$ $Cov (X, X) = Var X 。$ 相关系数 $ρ = \frac{Cov ( X , Y )}{Var X Var Y} \in [- 1, 1] ，$ 衡量线性相关的强弱。「协方差为 0」也说成「不相关」（uncorrelated）。

课件原文逐句精读

课件原文Example: multivariate normal distribution

A random vector $(X_{1}, \dots, X_{n})$ taking values in $R^{n}$ is said to be a gaussian random vector if there exists $μ = (μ_{1}, \dots, μ_{n}) \in R^{n}$ and an $n \times n$ positive definite real symmetric matrix $Σ := (σ_{ij})_{1 \leq i, j \leq n}$ , denoting $det Σ$ to be determinant of $Σ$ , it follows

P ((X_{1}, \dots, X_{n}) \in S) = \frac{1}{( 2 π ) ^{n /2} ( det Σ ) ^{1/2}} \int_{S} e^{- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)} d x, x \in S,

for all Borel sets $S \subset R^{n}$ (where we identify elements of $R^{n}$ with column vectors). The distribution of $(X_{1}, \dots, X_{n})$ is called a multivariate normal distribution.

If $(X_{1}, \dots, X_{n})$ is a gaussian random vector and $1 \leq i, j \leq n$ :
Bivariate case: show that $X_{i}$ and $X_{j}$ are pairwise independent if and only if the covariance $C o v (X_{i}, X_{j})$ vanishes.
Multivariate case: Furthermore, show that $(X_{1}, \dots, X_{n})$ are jointly independent if and only if all the covariances $C o v (X_{i}, X_{j})$ for $1 \leq i \neq = j \leq n$ vanish.

中文翻译

蓝条标题：例：多元正态分布。

取值于 $R^{n}$ 的随机向量 $(X_{1}, \dots, X_{n})$ 称为高斯随机向量，如果存在 $μ = (μ_{1}, \dots, μ_{n}) \in R^{n}$ 和一个 $n \times n$ 的正定实对称矩阵 $Σ = (σ_{ij})$ （ $det Σ$ 记它的行列式），使得对 $R^{n}$ 的所有博雷尔集 $S$ （把 $R^{n}$ 的元素看成列向量），上式成立。 $(X_{1}, \dots, X_{n})$ 的分布叫多元正态分布。
设 $(X_{1}, \dots, X_{n})$ 是高斯随机向量， $1 \leq i, j \leq n ：$
二元情形：证明 $X_{i}$ 与 $X_{j}$ 独立，当且仅当协方差 $Cov (X_{i}, X_{j}) = 0 。$
多元情形：进一步证明 $X_{1}, \dots, X_{n}$ 相互独立，当且仅当所有 $i \neq = j$ 的协方差 $Cov (X_{i}, X_{j})$ 都为 0。

逐句说明：

gaussian 应大写为 Gaussian（高斯，人名），gaussian random vector 就是「服从多元正态的随机向量」。
公式的意思： $(X_{1}, \dots, X_{n})$ 有联合密度

f (x) = \frac{1}{( 2 π ) ^{n /2} ( det Σ ) ^{1/2}} exp (- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)), x \in R^{n},

落在 $S$ 里的概率就是 $f$ 在 $S$ 上的积分。公式末尾的「 $x \in S 」$ 写在积分外面是排版问题，意思是积分变量 $x$ 跑遍 $S 。$

前面的常数 $\frac{1}{( 2 π ) ^{n /2} ( d e t Σ ) ^{1/2}} ：$ 让总概率等于 1 的归一化常数，和一元时的 $\frac{1}{2 π σ}$ 同一个作用。
两道题：pairwise independent 对两个变量来说就是「独立」；jointly independent 就是第 18 页的「相互独立」；vanishes 是「等于 0」。

补全课件留白

补充说明

这一页的定义完整印出；以下对定义的展开、事实陈述与例子由本站依据标准教材补写，记号与课件一致，以老师课堂为准。

n = 1：回到熟悉的正态分布

$Σ = (σ^{2})$ 是 $1 \times 1$ 矩阵， $det Σ = σ^{2} ，$ $Σ^{- 1} = \frac{1}{σ ^{2}} ，$ $(x - μ)^{T} Σ^{- 1} (x - μ) = \frac{( x - μ ) ^{2}}{σ ^{2}} 。$ 密度变成

f (x) = \frac{1}{2 π σ} e^{- \frac{( x - μ ) ^{2}}{2 σ ^{2}}},

正是 $N (μ, σ^{2}) 。$ 「正定」在这里就是 $σ^{2} > 0 。$

n = 2：二元正态的显式公式

把协方差矩阵写成

Σ = (σ_{1}^{2} ρ σ_{1} σ_{2} ρ σ_{1} σ_{2} σ_{2}^{2}), σ_{1}, σ_{2} > 0, - 1 < ρ < 1.

正定： $σ_{1}^{2} > 0 ，$ $det Σ = σ_{1}^{2} σ_{2}^{2} (1 - ρ^{2}) > 0$ （这正是要求 $∣ ρ ∣ < 1$ 的原因）。
逆矩阵：

Σ^{- 1} = \frac{1}{σ _{1}^{2} σ _{2}^{2} ( 1 - ρ ^{2} )} (σ_{2}^{2} - ρ σ_{1} σ_{2} - ρ σ_{1} σ_{2} σ_{1}^{2}) .

记 $u = x_{1} - μ_{1} ，$ $v = x_{2} - μ_{2} ，$ 二次型为

(x - μ)^{T} Σ^{- 1} (x - μ) = \frac{1}{1 - ρ ^{2}} (\frac{u ^{2}}{σ _{1}^{2}} - \frac{2 ρ uv}{σ _{1} σ _{2}} + \frac{v ^{2}}{σ _{2}^{2}}) .

密度：

f (x_{1}, x_{2}) = \frac{1}{2 π σ _{1} σ _{2} 1 - ρ ^{2}} exp [- \frac{1}{2 ( 1 - ρ ^{2} )} (\frac{u ^{2}}{σ _{1}^{2}} - \frac{2 ρ uv}{σ _{1} σ _{2}} + \frac{v ^{2}}{σ _{2}^{2}})] .

参数的含义（事实，这里不证明）

若 $(X_{1}, \dots, X_{n})$ 服从上面的多元正态分布，则

$E X_{i} = μ_{i} ，$ $Cov (X_{i}, X_{j}) = σ_{ij} ：$ $μ$ 是均值向量， $Σ$ 是协方差矩阵。二元时 $Var X_{1} = σ_{1}^{2} ，$ $Var X_{2} = σ_{2}^{2} ，$ 相关系数就是 $ρ 。$
每个分量都是一元正态： $X_{i} \sim N (μ_{i}, σ_{ii}) ；$ 任意几个分量组成的子向量也是多元正态，协方差矩阵取 $Σ$ 的相应行列。
线性组合 $a^{T} X = \sum a_{i} X_{i}$ 服从 $N (a^{T} μ, a^{T} Σ a) 。$

对角的情形可以马上验证第 1、2 条： $Σ = diag (σ_{1}^{2}, \dots, σ_{n}^{2})$ 时，密度分解成 $n$ 个一元正态密度的乘积（第 21 页会详细算），每个分量是 $N (μ_{i}, σ_{i}^{2}) ，$ 两两协方差为 0。

图解：二元正态的「山」和椭圆等高线

把 $f (x_{1}, x_{2})$ 画成曲面：

山顶在 $(μ_{1}, μ_{2}) ，$ 高度 $\frac{1}{2 π σ _{1} σ _{2} 1 - ρ ^{2}} 。$
等高线是二次型等于常数的曲线 $\frac{u ^{2}}{σ _{1}^{2}} - \frac{2 ρ uv}{σ _{1} σ _{2}} + \frac{v ^{2}}{σ _{2}^{2}} = c ，$ 是一族同心椭圆。
$ρ = 0 ：$ 椭圆的轴平行于坐标轴；再有 $σ_{1} = σ_{2}$ 时是圆。
$ρ > 0 ：$ 椭圆沿 $45°$ 方向（ $y = x$ 方向）拉长， $X_{1}$ 大时 $X_{2}$ 也倾向于大； $ρ < 0$ 时沿 $y = - x$ 方向拉长。
$ρ \to \pm 1 ：$ 椭圆被压扁成一条直线，分布集中到直线上，密度不再存在，和第 4 页的 $(U, U)$ 一样。

例子

例 1：标准二元正态，ρ 变化时山顶有多高

$μ = 0 ，$ $σ_{1} = σ_{2} = 1 。$ 原点处的密度 $f (0, 0) = \frac{1}{2 π 1 - ρ ^{2}} ：$

$ρ$	$0$	$0.5$	$0.9$
$f (0, 0)$	$0.159$	$0.184$	$0.365$

$ρ$ 越接近 $\pm 1 ，$ 概率越集中在一条直线附近，山越尖。 $ρ = 0$ 时 $f (x_{1}, x_{2}) = \frac{1}{2 π} e^{- (x_{1}^{2} + x_{2}^{2}) /2} = ϕ (x_{1}) ϕ (x_{2}) ，$ 是两个标准正态密度的乘积。

例 2：一个具体的协方差矩阵

$μ = 0 ，$ $Σ = (2112) 。$

$det Σ = 3 ，$ $Σ^{- 1} = \frac{1}{3} (2 - 1 - 1 2) 。$
二次型 $x^{T} Σ^{- 1} x = \frac{1}{3} (2 x_{1}^{2} - 2 x_{1} x_{2} + 2 x_{2}^{2}) 。$
密度 $f (x) = \frac{1}{2 π 3} exp (- \frac{1}{3} (x_{1}^{2} - x_{1} x_{2} + x_{2}^{2})) ，$ 原点处约 $0.0919 。$
$Var X_{1} = Var X_{2} = 2 ，$ $Cov = 1 ，$ 相关系数 $ρ = \frac{1}{2 \cdot 2} = \frac{1}{2} 。$
由事实 3， $X_{1} + X_{2} \sim N (0, 2 + 2 + 2 \cdot 1) = N (0, 6) ，$ $X_{1} - X_{2} \sim N (0, 2 + 2 - 2) = N (0, 2) 。$

例 3：用两个独立的标准正态造出二元正态

设 $Z_{1}, Z_{2}$ 独立、都是 $N (0, 1)$ （第 17 页保证它们存在）。令

X_{1} = Z_{1}, X_{2} = ρ Z_{1} + 1 - ρ^{2} Z_{2} .

$Var X_{2} = ρ^{2} + (1 - ρ^{2}) = 1 ；$ $Cov (X_{1}, X_{2}) = ρ Var Z_{1} = ρ$ （ $Z_{1}, Z_{2}$ 独立，交叉项为 0）。
可以证明 $(X_{1}, X_{2})$ 恰好服从相关系数为 $ρ$ 的标准二元正态。电脑模拟（ $ρ = 0.6 ，$ 20 万组）得到样本协方差约 $0.600 ，$ 样本方差约 $0.998 。$
$ρ = 0$ 时 $X_{2} = Z_{2} ，$ $X_{1}, X_{2}$ 就是两个独立的标准正态，和下一页的结论一致。

例 4：相关如何改变「同时为正」的概率

标准二元正态有一个漂亮的公式（Sheppard 公式，这里不证明）： $P (X_{1} > 0, X_{2} > 0) = \frac{1}{4} + \frac{a r c s i n ρ}{2 π} 。$

$ρ$	$- 0.5$	$0$	$0.5$	$0.9$
$P (X_{1} > 0, X_{2} > 0)$	$\frac{1}{6}$	$\frac{1}{4}$	$\frac{1}{3}$	$0.428$

只有 $ρ = 0$ 时它等于 $P (X_{1} > 0) P (X_{2} > 0) = \frac{1}{4} 。$ 电脑模拟（每个 $ρ$ 40 万组）结果与公式相差不到 0.001。

常见疑问与易错点

易错点问：为什么 Σ 必须正定？

答：密度公式里要用 $Σ^{- 1}$ 和 $(det Σ)^{1/2} ，$ 必须 $det Σ > 0 。$ 从概率上看， $a^{T} Σ a = Var (a^{T} X) \geq 0$ 对任何 $a$ 都成立；若某个 $a \neq = 0$ 使它等于 0，则 $a^{T} X$ 是常数，分布集中在一个低维平面上，没有密度（例如 $X_{2} = X_{1} ）。$ 正定排除了这种「退化」情形；更一般的定义允许 $Σ$ 半正定，但那时就不能用这个密度公式了。

易错点问：每个分量都是正态，向量就一定是多元正态吗？

答：不一定。第 20 页会给出反例： $X \sim N (0, 1) ，$ $Y = SX$ （ $S$ 是独立的随机正负号）， $X 、$ $Y$ 都是标准正态， $(X, Y)$ 却不是二元正态，并且不相关但不独立。多元正态要求的是联合分布有这个密度，比「各分量正态」强得多。

易错点问：「协方差为 0」和「独立」到底什么关系？

答：一般情况下：独立 ⇒ 协方差为 0（第 10 页推论： $E [X Y] = E X E Y ），$ 反之不成立。多元正态是重要的例外：协方差为 0 ⇒ 独立。下两页证明这件事，而且会看到证明的核心正是第 17 页：密度分解成乘积 ⇒ 联合分布是乘积测度 ⇒ 独立。

小结与自测

小结本页小结

多元正态：密度 $\frac{1}{( 2 π ) ^{n /2} ( d e t Σ ) ^{1/2}} e^{- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)} ，$ $μ$ 是均值向量， $Σ$ （正定对称）是协方差矩阵。
$n = 1$ 回到 $N (μ, σ^{2}) ；$ $n = 2$ 时由 $σ_{1}, σ_{2}, ρ$ 决定，等高线是椭圆， $ρ$ 控制倾斜和扁平程度。
分量、子向量、线性组合仍是正态；但各分量正态不保证联合正态。
待证：联合正态时，不相关 ⇔ 独立（二元第 20 页，多元第 21 页）。

自测

1. 写出 $μ = 0 、$ $Σ = (1004)$ 的二元正态密度，并把它写成两个一元密度的乘积。

点开看答案

$det Σ = 4 ，$ $Σ^{- 1} = diag (1, \frac{1}{4}) ，$ $f (x_{1}, x_{2}) = \frac{1}{2 π \cdot 2} e^{- \frac{1}{2} (x_{1}^{2} + x_{2}^{2} /4)} = (\frac{1}{2 π} e^{- x_{1}^{2} /2}) (\frac{1}{2 π \cdot 2} e^{- x_{2}^{2} /8}) ，$ 即 $N (0, 1)$ 与 $N (0, 4)$ 的密度之积。

2. $(4221)$ 能作为多元正态的 $Σ$ 吗？

点开看答案

不能。 $det = 4 - 4 = 0 ，$ 不正定。取 $a = (1, - 2)^{T} ，$ $a^{T} Σ a = 4 - 8 + 4 = 0 ，$ 对应 $X_{1} - 2 X_{2}$ 方差为 0，即 $X_{1} = 2 X_{2}$ （减去均值后），分布落在一条直线上，没有密度。

3. 在例 3 中取 $ρ = - 0.8 ，$ $Cov (X_{1}, X_{2})$ 和 $Var (X_{1} + X_{2})$ 各是多少？

点开看答案

$Cov = - 0.8 ；$ $Var (X_{1} + X_{2}) = 1 + 1 + 2 (- 0.8) = 0.4 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
多元正态分布	multivariate normal distribution	由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言，不相关等价于独立。
协方差矩阵	covariance matrix	第 (i, j) 个元素是 Cov(Xᵢ, Xⱼ) 的矩阵，对角线上是各分量的方差。
协方差	covariance	Cov(X, Y) = E[(X − EX)(Y − EY)]，衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0，反之一般不成立。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
联合分布	joint law (joint distribution)	随机向量 (X, Y) 在平面上的分布：对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
乘积测度	product measure	在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度（σ-有限时）。平面面积就是长度 × 长度的乘积测度。
元素	element	集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
正定	positive definite	对称矩阵 Σ 满足：对所有非零向量 x，xᵀΣx > 0。多元正态要求协方差矩阵正定。
相关系数	correlation coefficient	ρ = Cov(X, Y) / √(Var X · Var Y)，在 −1 到 1 之间，衡量线性相关的强弱。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
博雷尔 σ-代数	Borel sigma-algebra	由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ)，包含所有常见的集合。
当且仅当	if and only if (iff)	「A 当且仅当 B」：A 成立就一定有 B，B 成立也一定有 A，两者同真同假，记作 A ⟺ B。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。