21 多元情形：联合正态时，协方差全为 0 等价于相互独立 · 第4讲

这一页在讲什么

人话版一句话版

设 $(X_{1}, \dots, X_{n})$ 是高斯随机向量。 $X_{1}, \dots, X_{n}$ 相互独立 ⇔ 所有 $i \neq = j$ 的协方差都为 0 ⇔ 协方差矩阵 $Σ$ 是对角矩阵。证明和二元时一样：对角的 $Σ$ 让密度分解成 $n$ 个一元正态密度的乘积，联合分布就是乘积测度。一个推论很值得记住：对联合正态，两两独立就等于相互独立，而一般的随机变量做不到这一点（第 18 页）。

位置：第 19 页提出的第二道题，也是第 4 讲的最后一页。课件只有标题，内容全部留白。
和上一页的关系：第 20 页对每一对 $(X_{i}, X_{j})$ 证明了「不相关 ⇔ 独立」，得到的是两两独立；这一页证明更强的相互独立。
页末附有第 4 讲的回顾。

先补基础

基础补课对角矩阵的行列式、逆和二次型

$Σ = diag (σ_{1}^{2}, \dots, σ_{n}^{2})$ （对角线以外全是 0）时：

$det Σ = σ_{1}^{2} σ_{2}^{2} \dots σ_{n}^{2} ；$
$Σ^{- 1} = diag (\frac{1}{σ _{1}^{2}}, \dots, \frac{1}{σ _{n}^{2}}) ；$
$(x - μ)^{T} Σ^{- 1} (x - μ) = \sum_{i = 1}^{n} \frac{( x _{i} - μ _{i} ) ^{2}}{σ _{i}^{2}} ：$ 没有交叉项。

基础补课指数把和变成积

$e^{a_{1} + a_{2} + \dots + a_{n}} = e^{a_{1}} e^{a_{2}} \dots e^{a_{n}} 。$ 二次型没有交叉项时，它是 $n$ 项之和，密度里的指数函数就拆成 $n$ 个因子的乘积，每个因子只含一个变量。

基础补课相互独立的判别（回顾）

$X_{1}, \dots, X_{n}$ 相互独立 ⇔ 对所有博雷尔集 $B_{1}, \dots, B_{n} ，$ $P (X_{1} \in B_{1}, \dots, X_{n} \in B_{n}) = \prod_{i} P (X_{i} \in B_{i})$ ⇔ 联合分布等于边缘分布的乘积测度（第 17 页）。只取一部分变量的情形，把其余的 $B_{i}$ 取成 $R$ 即可。

课件原文逐句精读

课件原文Example: Multivariate case

（标题以下全部留白）

中文翻译

蓝条标题：例：多元情形。（课件留白：要证明的是第 19 页的第二道题，见下一节。）

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

定理（多元情形）

设 $(X_{1}, \dots, X_{n})$ 服从均值 $μ 、$ 协方差矩阵 $Σ = (σ_{ij})$ 的多元正态分布。则以下三条等价：

$X_{1}, \dots, X_{n}$ 相互独立；
对所有 $1 \leq i \neq = j \leq n ，$ $Cov (X_{i}, X_{j}) = 0 ；$
$Σ$ 是对角矩阵。

这里用到第 19 页的事实 1： $Σ$ 就是协方差矩阵， $Cov (X_{i}, X_{j}) = σ_{ij}$ （二元情形已在第 20 页的引理中证明）。所以 2 ⇔ 3 只是换个说法。

1 ⇒ 2：相互独立推出两两独立，再由第 10 页的推论， $Cov (X_{i}, X_{j}) = E [(X_{i} - μ_{i}) (X_{j} - μ_{j})] = E [X_{i} - μ_{i}] E [X_{j} - μ_{j}] = 0 。$ 这一方向不需要正态。

3 ⇒ 1：

密度分解：记 $σ_{i}^{2} = σ_{ii}$ （正定保证 $σ_{i}^{2} > 0 ）。$ 由「先补基础」，

\frac{1}{( 2 π ) ^{n /2} ( det Σ ) ^{1/2}} = i = 1 \prod n \frac{1}{2 π σ _{i}}, e^{- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ)} = i = 1 \prod n e^{- \frac{( x _{i} - μ _{i} ) ^{2}}{2 σ _{i}^{2}}},

所以联合密度

f (x_{1}, \dots, x_{n}) = i = 1 \prod n ϕ_{i} (x_{i}), ϕ_{i} (t) = \frac{1}{2 π σ _{i}} e^{- \frac{( t - μ _{i} ) ^{2}}{2 σ _{i}^{2}}} (N (μ_{i}, σ_{i}^{2}) 的密度) .

乘积公式：对博雷尔集 $B_{1}, \dots, B_{n} ，$ 被积函数非负，由 Tonelli 定理（第 12 页，反复用 $n - 1$ 次）逐个积分：

P (X_{1} \in B_{1}, \dots, X_{n} \in B_{n}) = \int_{B_{1} \times \dots \times B_{n}} i \prod ϕ_{i} (x_{i}) d x = i = 1 \prod n \int_{B_{i}} ϕ_{i} (t) d t .

边缘分布：取 $B_{j} = R$ （ $j \neq = i ），$ 每个 $\int_{R} ϕ_{j} = 1 ，$ 得 $P (X_{i} \in B_{i}) = \int_{B_{i}} ϕ_{i} ，$ 即 $X_{i} \sim N (μ_{i}, σ_{i}^{2}) 。$
代回第 2 步： $P (X_{1} \in B_{1}, \dots, X_{n} \in B_{n}) = \prod_{i} P (X_{i} \in B_{i}) ，$ 相互独立。等价地，联合分布 $= N (μ_{1}, σ_{1}^{2}) \times \dots \times N (μ_{n}, σ_{n}^{2})$ （第 17 页）。 $■$

推论：联合正态时，两两独立 = 相互独立

命题推论

对高斯随机向量，若 $X_{1}, \dots, X_{n}$ 两两独立，则它们相互独立。

证明：两两独立 ⇒ 每对协方差为 0（定理中 1 ⇒ 2 的论证只用到两个变量）⇒ $Σ$ 对角 ⇒ 相互独立（3 ⇒ 1）。 $■$

对比第 18 页： $X, Y$ 是独立的随机正负号、 $Z = X Y ，$ 三者两两独立却不相互独立。那里的 $(X, Y, Z)$ 不是高斯向量，推论用不上。

例子反例：三个标准正态，两两独立却不相互独立

取 $X, Y, W$ 独立、都是 $N (0, 1) ，$ 令

Z = ∣ W ∣ \cdot sign (X Y)

（ $X Y > 0$ 时取 $+ ∣ W ∣ ，$ 否则取 $- ∣ W ∣ ）。$

$Z \sim N (0, 1)$ ： $sign (X Y)$ 以 $\frac{1}{2}$ 的概率取 $\pm 1 ，$ 且与 $∣ W ∣$ 独立，所以 $Z$ 是「随机正负号 × $∣ W ∣ 」，$ 和 $W$ 同分布。
$X$ 与 $Z$ 独立：已知 $X$ 时， $sign (X Y)$ 的正负只取决于 $Y$ 的符号，仍是公平的 $\pm 1 ；$ $∣ Z ∣ = ∣ W ∣$ 与 $X$ 无关。所以 $Z$ 的分布不受 $X$ 影响。 $Y$ 与 $Z$ 也独立，理由一样：已知 $Y$ 时， $sign (X Y)$ 的正负只取决于 $X$ 的符号，仍是公平的 $\pm 1 ；$ $X$ 与 $Y$ 本来独立。三者两两独立，两两协方差都是 0。
不相互独立： $X Y Z = ∣ X Y ∣ \cdot ∣ W ∣ \geq 0$ 总成立，所以 $P (X > 0, Y > 0, Z < 0) = 0 \neq = \frac{1}{8} 。$
电脑模拟 30 万次： $P (X > 0, Z > 0) \approx 0.252$ （理论 $\frac{1}{4} ），$ 而 $X Y Z < 0$ 一次也没有出现。

由推论， $(X, Y, Z)$ 不可能是高斯向量：三个坐标各自正态、两两独立，联合分布却不是多元正态。

例子

例 1：对角协方差矩阵，概率直接相乘

$(X_{1}, X_{2}, X_{3})$ 是多元正态， $μ = 0 ，$ $Σ = diag (1, 4, 9) 。$ 由定理，三者相互独立， $X_{1} \sim N (0, 1) ，$ $X_{2} \sim N (0, 4) ，$ $X_{3} \sim N (0, 9) 。$

$P (X_{1} > 0, X_{2} > 0, X_{3} > 0) = \frac{1}{2} \cdot \frac{1}{2} \cdot \frac{1}{2} = \frac{1}{8} 。$
$P (∣ X_{1} ∣ \leq 1, ∣ X_{2} ∣ \leq 2, ∣ X_{3} ∣ \leq 3) = 0.682 7^{3} \approx 0.318$ （每个都是「落在一个标准差以内」）。

例 2：分块对角——一组与另一组独立

$μ = 0 ，$ $Σ = 10 0.5 010 0.5 01 。$

正定性：顺序主子式 $1 、$ $1 、$ $det Σ = 1 \cdot 1 - 0.5 \cdot 0.5 = 0.75 ，$ 都是正数。
$X_{2}$ 与 $X_{1} 、$ $X_{3}$ 的协方差都是 0，但 $Cov (X_{1}, X_{3}) = 0.5 \neq = 0 ，$ 所以三者不相互独立。
不过把 $X_{1}, X_{3}$ 放成一组，密度的二次型没有 $x_{2}$ 与 $x_{1}, x_{3}$ 的交叉项，密度分解成 $f_{13} (x_{1}, x_{3}) \cdot ϕ (x_{2}) ，$ 同样的论证说明： $X_{2}$ 与向量 $(X_{1}, X_{3})$ 独立。一般地， $Σ$ 分块对角时，各块对应的子向量相互独立。

例 3：用独立正态造出任意多元正态

设 $Z_{1}, \dots, Z_{n}$ i.i.d. $N (0, 1)$ （第 17 页保证存在）， $A$ 是可逆的 $n \times n$ 矩阵。则 $X = μ + A Z$ 是多元正态，协方差矩阵 $Σ = A A^{T}$ （这里作为事实）。

取 $A = diag (σ_{1}, \dots, σ_{n}) ，$ $X_{i} = μ_{i} + σ_{i} Z_{i} ，$ $Σ = diag (σ_{i}^{2}) ：$ 各分量各用各的 $Z_{i} ，$ 当然独立，和定理一致。
取 $n = 2 ，$ $A = (1 ρ 0 1 - ρ^{2}) ，$ 就是第 19 页例 3 的构造， $A A^{T} = (1 ρ ρ 1) 。$ 电脑模拟多元正态就是这样做的：先生成独立的标准正态，再乘一个矩阵。

常见疑问与易错点

易错点问：为什么「协方差全为 0」就足够推出相互独立，而不需要检查三个、四个变量之间的关系？

答：多元正态分布完全由 $μ$ 和 $Σ$ 决定，而 $Σ$ 只记录两两之间的协方差。没有「三个变量之间」的额外参数，所以两两的信息就是全部的信息。一般的分布没有这个性质（反例中的 $(X, Y, Z) ）。$

易错点问：分量各自是正态、两两协方差为 0，能推出相互独立吗？

答：不能。必须是联合正态。上面的反例三个分量都是 $N (0, 1) 、$ 两两独立，却不相互独立；第 20 页的 $Y = SX$ 连两个变量的情形都不行。

易错点问：Σ 对角时，为什么边缘分布不需要另外证明？

答：在证明第 3 步里，取其余的 $B_{j} = R ，$ 乘积公式直接给出每个 $X_{i}$ 的分布是 $N (μ_{i}, σ_{i}^{2}) 。$ 这和第 5 页里「坐标映射的分布就是 $P_{i} 」$ 是同一个道理：乘积测度的边缘就是各个因子。

小结与自测

小结本页小结

定理：高斯向量的分量相互独立 ⇔ 所有协方差为 0 ⇔ $Σ$ 对角。
证明：对角 $Σ$ ⇒ 二次型无交叉项 ⇒ 密度 = $\prod_{i} ϕ_{i} (x_{i})$ ⇒（Tonelli）乘积公式 ⇒ 相互独立。
推论：联合正态时，两两独立 ⇔ 相互独立；反例 $Z = ∣ W ∣ sign (X Y)$ 说明「各自正态」不够。
分块对角 ⇒ 各块子向量独立； $X = μ + A Z$ 可以造出任意多元正态。

小结第 4 讲回顾

乘积测度（第 4 页–第 8 页）：边缘分布决定不了联合分布（ $(U, U)$ 与 $(U, 1 - U) ）；$ 乘积 σ-代数 $F_{1} \otimes F_{2}$ 由可测矩形生成；σ-有限时乘积测度存在且唯一（π-λ 定理）；截口公式 $(μ_{1} \times μ_{2}) (A) = \int μ_{2} (A_{ω_{1}}) d μ_{1} 。$
Fubini–Tonelli 定理（第 9 页–第 15 页）：非负可测函数（Tonelli）或绝对可积函数（Fubini）的二重积分等于两种顺序的累次积分；证明走「示性函数 → 简单函数 → 非负函数 → 可积函数」四步；不 σ-有限（计数测度，第 13 页）或不可积（第 14 页、第 15 页）时交换顺序会出错；矩公式 $E Y^{p} = \int_{0}^{\infty} p y^{p - 1} P (Y > y) d y$ 一行可证。
独立性（第 16 页–第 21 页）：事件、随机变量、σ-代数的独立；独立 ⇔ 联合分布是乘积测度，并由此构造 i.i.d. 序列；两两独立 ≠ 相互独立；多元正态中不相关 ⇔ 独立。

四讲连起来看：第 1 讲建立测度与积分（第 47 页），第 2 讲把它翻译成随机变量、期望和不等式（第 32 页），第 3 讲研究无穷多个随机变量的极限与换测度（第 47 页），第 4 讲搭出多个随机变量共同生活的乘积空间，给「独立」下了严格定义。至此，大数定律、中心极限定理所需的全部地基都已就位。

自测

1. $(X_{1}, X_{2}, X_{3})$ 是多元正态， $Σ = 200031013 。$ 哪些变量之间独立？三者相互独立吗？

点开看答案

$X_{1}$ 与 $X_{2} 、$ $X_{1}$ 与 $X_{3}$ 的协方差为 0，所以 $X_{1}$ 与它们各自独立（实际上 $X_{1}$ 与向量 $(X_{2}, X_{3})$ 独立，分块对角）。 $Cov (X_{2}, X_{3}) = 1 \neq = 0 ，$ 三者不相互独立。

2. $X_{1}, \dots, X_{n}$ i.i.d. $N (0, 1) 。$ 写出 $(X_{1}, \dots, X_{n})$ 的 $μ 、$ $Σ$ 和联合密度。

点开看答案

$μ = 0 ，$ $Σ = I$ （单位矩阵），联合密度 $f (x) = (2 π)^{- n /2} e^{- \frac{1}{2} (x_{1}^{2} + \dots + x_{n}^{2})} = \prod_{i} \frac{1}{2 π} e^{- x_{i}^{2} /2} 。$

3. 在反例中，为什么 $P (X Y Z < 0) = 0 ？$

点开看答案

$Z$ 的符号就是 $X Y$ 的符号，所以 $X Y Z = X Y \cdot ∣ W ∣ sign (X Y) = ∣ X Y ∣ \cdot ∣ W ∣ \geq 0 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
协方差矩阵	covariance matrix	第 (i, j) 个元素是 Cov(Xᵢ, Xⱼ) 的矩阵，对角线上是各分量的方差。
协方差	covariance	Cov(X, Y) = E[(X − EX)(Y − EY)]，衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0，反之一般不成立。
联合分布	joint law (joint distribution)	随机向量 (X, Y) 在平面上的分布：对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
乘积测度	product measure	在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度（σ-有限时）。平面面积就是长度 × 长度的乘积测度。
两两独立	pairwise independence	任意两个都独立。比相互独立弱：三个事件可以两两独立却不相互独立。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
博雷尔 σ-代数	Borel sigma-algebra	由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ)，包含所有常见的集合。
边缘分布	marginal law	随机向量中单个坐标的分布，例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
多元正态分布	multivariate normal distribution	由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言，不相关等价于独立。
正定	positive definite	对称矩阵 Σ 满足：对所有非零向量 x，xᵀΣx > 0。多元正态要求协方差矩阵正定。
Tonelli 定理	Tonelli's theorem	f 非负可测、两个测度 σ-有限时，二重积分等于两种顺序的累次积分，三者可以同时为 ∞。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
乘积 σ-代数	product σ-algebra	由所有可测矩形生成的 σ-代数，记作 F₁ ⊗ F₂；它也是让两个坐标映射都可测的最小 σ-代数。
π-λ 定理	Dynkin's π-λ theorem	π-系（对有限交封闭）包含于 λ-系时，它生成的 σ-代数也包含于该 λ-系。常用来证明「两个测度在生成元上相等就处处相等」。
σ-有限	σ-finite	整个空间能切成可数多块测度有限的部分。概率测度、长度都满足；不可数集上的计数测度不满足。
可测矩形	measurable rectangle	形如 A₁ × A₂ 的集合，A₁、A₂ 分别是两个空间里的可测集。
截口	slice (section)	固定一个坐标、把二维集合或函数「切一刀」：A_ω₁ = {ω₂ : (ω₁, ω₂) ∈ A}，f_ω₁(ω₂) = f(ω₁, ω₂)。
示性函数	indicator function	𝟏_A(x) 在 x ∈ A 时取 1，否则取 0；它的积分就是 A 的测度。
可测函数	measurable function	对每个 a，集合 {f > a} 都可测；这样的函数才能积分。
简单函数	simple function	只取有限个值的可测函数，是若干示性函数的线性组合，图像像台阶。
二重积分	double integral	对两个变量一起积分：∬ f(x, y) dx dy。Fubini–Tonelli 定理说明什么时候可以拆成先对一个变量、再对另一个变量的两次积分。
累次积分	iterated integral	一层一层地积分：先固定一个变量、对另一个变量积分，再对剩下的变量积分。
计数测度	counting measure	μ(A) = A 中元素的个数（无限集记为 ∞）。在 ℕ 上对它积分就是求和。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
σ-代数	sigma-algebra	允许谈概率的「事件清单」：含 Ω，对补集和可数并封闭。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
换测度	change of measure	用 E_Q[X] = E_P[X · dQ/dP] 在两个概率之间换算期望。
中心极限定理	central limit theorem (CLT)	独立同分布、方差 σ² 有限时，(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布：大量独立小误差之和近似正态。
乘积空间	product space	笛卡尔积 Ω₁ × Ω₂，配上乘积 σ-代数（以及乘积测度）。