20 二元情形：联合正态时，协方差为 0 等价于独立 · 第4讲

这一页在讲什么

人话版一句话版

设 $(X_{1}, X_{2})$ 服从二元正态。协方差为 0 ⇔ 独立。「⇐」对任何随机变量都成立；「⇒」是正态的特殊之处： $ρ = 0$ 时联合密度恰好分解成两个一元正态密度的乘积，联合分布就是乘积测度，于是独立。证明的关键一步是配方，它同时用 Fubini 定理证明了边缘分布是正态、协方差等于 $ρ σ_{1} σ_{2} 。$ 最后的反例说明：只知道「每个坐标都是正态」，不相关推不出独立。

位置：第 19 页提出的第一道题，课件这一页只有标题，内容全部留白。
用到的工具：第 17 页的「独立 ⇔ 联合分布是乘积测度」，第 10 页的 Fubini 定理及推论 $E [X Y] = E X E Y ，$ 第 12 页的 Tonelli 定理。
课件的提法：在 $n$ 维高斯向量里任取两个分量 $X_{i}, X_{j} ，$ 它们组成的 $(X_{i}, X_{j})$ 是二元正态，协方差矩阵是 $(σ_{ii} σ_{ij} σ_{ij} σ_{jj})$ （第 19 页事实 2）。所以只需证明二元的情形。

先补基础

基础补课一元正态密度的两个积分（回顾）

设 $ϕ_{m, s^{2}} (v) = \frac{1}{2 π s} e^{- (v - m)^{2} / (2 s^{2})}$ 是 $N (m, s^{2})$ 的密度。则

\int_{R} ϕ_{m, s^{2}} (v) d v = 1, \int_{R} v ϕ_{m, s^{2}} (v) d v = m .

第一个是总概率为 1（第 10 页例 4 算过归一化常数）；第二个是均值为 $m$ （换元 $v = m + w ，$ $\int w ϕ_{0, s^{2}} (w) d w = 0 ，$ 因为被积函数是奇函数）。

基础补课配方

$a^{2} - 2 ab t + t^{2} = (t - ab)^{2} + (1 - b^{2}) a^{2} 。$ 验证：右边展开是 $t^{2} - 2 ab t + a^{2} b^{2} + a^{2} - a^{2} b^{2} 。$ 下面的证明就是把二元正态指数里的二次式按这个方式整理。

课件原文逐句精读

课件原文Example: Bivariate case

（标题以下全部留白）

中文翻译

蓝条标题：例：二元情形。（课件留白：要证明的是第 19 页的第一道题，见下一节。）

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

设 $(X_{1}, X_{2})$ 有第 19 页的二元正态密度

f (x_{1}, x_{2}) = \frac{1}{2 π σ _{1} σ _{2} 1 - ρ ^{2}} exp [- \frac{1}{2 ( 1 - ρ ^{2} )} (\frac{u ^{2}}{σ _{1}^{2}} - \frac{2 ρ uv}{σ _{1} σ _{2}} + \frac{v ^{2}}{σ _{2}^{2}})], u = x_{1} - μ_{1}, v = x_{2} - μ_{2} .

引理：配方把密度拆成「边缘 × 条件」

命题引理（二元正态的分解）

对所有 $(x_{1}, x_{2}) ，$

f (x_{1}, x_{2}) = ϕ_{μ_{1}, σ_{1}^{2}} (x_{1}) \cdot ϕ_{m (x_{1}), s^{2}} (x_{2}), m (x_{1}) = μ_{2} + ρ \frac{σ _{2}}{σ _{1}} (x_{1} - μ_{1}), s^{2} = σ_{2}^{2} (1 - ρ^{2}) .

由此：

$X_{1} \sim N (μ_{1}, σ_{1}^{2}) ；$ 同理 $X_{2} \sim N (μ_{2}, σ_{2}^{2}) 。$
$Cov (X_{1}, X_{2}) = ρ σ_{1} σ_{2} 。$

分解的证明：令 $a = \frac{u}{σ _{1}} ，$ $t = \frac{v}{σ _{2}} ，$ $b = ρ ，$ 用「先补基础」的配方：

\frac{u ^{2}}{σ _{1}^{2}} - \frac{2 ρ uv}{σ _{1} σ _{2}} + \frac{v ^{2}}{σ _{2}^{2}} = (\frac{v}{σ _{2}} - ρ \frac{u}{σ _{1}})^{2} + (1 - ρ^{2}) \frac{u ^{2}}{σ _{1}^{2}} .

除以 $1 - ρ^{2}$ 再乘 $- \frac{1}{2} ，$ 指数变成

- \frac{u ^{2}}{2 σ _{1}^{2}} - \frac{( v - ρ \frac{σ _{2}}{σ _{1}} u ) ^{2}}{2 σ _{2}^{2} ( 1 - ρ ^{2} )} .

第二项里 $v - ρ \frac{σ _{2}}{σ _{1}} u = x_{2} - m (x_{1}) 。$ 常数也拆得开： $\frac{1}{2 π σ _{1} σ _{2} 1 - ρ ^{2}} = \frac{1}{2 π σ _{1}} \cdot \frac{1}{2 π σ _{2} 1 - ρ ^{2}} 。$ 两部分正好是 $ϕ_{μ_{1}, σ_{1}^{2}} (x_{1})$ 和 $ϕ_{m (x_{1}), s^{2}} (x_{2}) 。$

第 1 条： $P (X_{1} \in B) = \int_{B \times R} f 。$ 被积函数非负，由 Tonelli 先对 $x_{2}$ 积分：对每个固定的 $x_{1} ，$ $\int_{R} ϕ_{m (x_{1}), s^{2}} (x_{2}) d x_{2} = 1 ，$ 所以 $P (X_{1} \in B) = \int_{B} ϕ_{μ_{1}, σ_{1}^{2}} (x_{1}) d x_{1} ，$ 即 $X_{1} \sim N (μ_{1}, σ_{1}^{2}) 。$ 对 $x_{2}$ 配方（交换两个变量的角色）同理得 $X_{2} \sim N (μ_{2}, σ_{2}^{2}) 。$

第 2 条：正态变量有有限的二阶矩， $∣ uv ∣ \leq \frac{u ^{2} + v ^{2}}{2} ，$ 所以 $(x_{1} - μ_{1}) (x_{2} - μ_{2}) f$ 可积，可以用 Fubini 先对 $x_{2}$ 积分：

\int_{R} (x_{2} - μ_{2}) ϕ_{m (x_{1}), s^{2}} (x_{2}) d x_{2} = m (x_{1}) - μ_{2} = ρ \frac{σ _{2}}{σ _{1}} (x_{1} - μ_{1}) .

再对 $x_{1}$ 积分：

Cov (X_{1}, X_{2}) = \int_{R} (x_{1} - μ_{1}) \cdot ρ \frac{σ _{2}}{σ _{1}} (x_{1} - μ_{1}) ϕ_{μ_{1}, σ_{1}^{2}} (x_{1}) d x_{1} = ρ \frac{σ _{2}}{σ _{1}} Var X_{1} = ρ σ_{1} σ_{2} . ■

（这也证明了第 19 页事实 1、2 的二元情形。 $ϕ_{m (x_{1}), s^{2}}$ 就是「已知 $X_{1} = x_{1}$ 时 $X_{2}$ 的条件分布」，均值 $m (x_{1})$ 随 $x_{1}$ 线性变化，这条直线叫回归直线。）

定理与证明

定理（二元情形）

设 $(X_{1}, X_{2})$ 服从二元正态分布。则 $X_{1}$ 与 $X_{2}$ 独立 $⟺ Cov (X_{1}, X_{2}) = 0 ⟺ ρ = 0 。$

证明：由引理， $Cov (X_{1}, X_{2}) = ρ σ_{1} σ_{2} ，$ 而 $σ_{1}, σ_{2} > 0 ，$ 所以 $Cov = 0 ⟺ ρ = 0 。$

独立 ⇒ 协方差为 0： $X_{1} - μ_{1} 、$ $X_{2} - μ_{2}$ 独立且可积，由第 10 页的推论， $E [(X_{1} - μ_{1}) (X_{2} - μ_{2})] = E [X_{1} - μ_{1}] E [X_{2} - μ_{2}] = 0 \times 0 = 0 。$ 这一方向对任何（可积的）随机变量都成立，不需要正态。
$ρ = 0$ ⇒ 独立：
1. $ρ = 0$ 时 $m (x_{1}) = μ_{2} ，$ $s^{2} = σ_{2}^{2} ，$ 引理给出 $f (x_{1}, x_{2}) = ϕ_{μ_{1}, σ_{1}^{2}} (x_{1}) ϕ_{μ_{2}, σ_{2}^{2}} (x_{2}) ：$ 联合密度 = 两个边缘密度的乘积。
2. 对博雷尔集 $B_{1}, B_{2} ，$ 用 Tonelli：

P (X_{1} \in B_{1}, X_{2} \in B_{2}) = \int_{B_{1}} \int_{B_{2}} ϕ_{μ_{1}, σ_{1}^{2}} (x_{1}) ϕ_{μ_{2}, σ_{2}^{2}} (x_{2}) d x_{2} d x_{1} = P (X_{1} \in B_{1}) P (X_{2} \in B_{2}) .

这正是独立的定义（等价地，联合分布等于 $N (μ_{1}, σ_{1}^{2}) \times N (μ_{2}, σ_{2}^{2}) ，$ 第 17 页）。 $■$

必须记住的反例：各自正态 ≠ 联合正态

例子反例：不相关、都是正态，却不独立

设 $X \sim N (0, 1) ，$ $S$ 与 $X$ 独立， $P (S = 1) = P (S = - 1) = \frac{1}{2} ，$ 令 $Y = SX 。$

$Y \sim N (0, 1)$ ： $P (Y \leq t) = \frac{1}{2} P (X \leq t) + \frac{1}{2} P (- X \leq t) = \frac{1}{2} Φ (t) + \frac{1}{2} Φ (t) = Φ (t)$ （ $- X$ 与 $X$ 同分布）。
不相关： $Cov (X, Y) = E [S X^{2}] = E S \cdot E X^{2} = 0 \times 1 = 0$ （ $S$ 与 $X$ 独立）。
不独立： $∣ Y ∣ = ∣ X ∣$ 总成立。于是 $P (∣ X ∣ \leq 1, ∣ Y ∣ > 1) = 0 ，$ 而 $P (∣ X ∣ \leq 1) P (∣ Y ∣ > 1) \approx 0.683 \times 0.317 \approx 0.217 \neq = 0 。$
$(X, Y)$ 不是二元正态： $X + Y = (1 + S) X$ 有一半的概率恰好等于 0。若 $(X, Y)$ 是二元正态， $X + Y$ 应当是正态（第 19 页事实 3），不可能在 0 处有 $\frac{1}{2}$ 的概率质量。

所以定理里「联合正态」这个假设不能换成「 $X_{1} 、$ $X_{2}$ 各自正态」。

例子

例 1：两个独立正态的和与差也独立

$X_{1}, X_{2}$ 独立、都是 $N (0, 1) 。$ 令 $U = X_{1} + X_{2} ，$ $V = X_{1} - X_{2} 。$

$(U, V)$ 是 $(X_{1}, X_{2})$ 的线性变换，仍是二元正态（事实：可逆线性变换保持多元正态）。
$Cov (U, V) = Var X_{1} - Var X_{2} = 1 - 1 = 0 。$
由定理， $U$ 与 $V$ 独立。这很反直觉：和与差都由同样的 $X_{1}, X_{2}$ 算出来，却互相不提供任何信息。对非正态的情形一般不对：例如 $X_{1}, X_{2}$ 是两颗骰子的点数，和为 12 时差一定是 0。

例 2：ρ ≠ 0 时，独立的乘积公式失败

标准二元正态， $ρ = 0.5 。$ 第 19 页例 4： $P (X_{1} > 0, X_{2} > 0) = \frac{1}{3} ，$ 而 $P (X_{1} > 0) P (X_{2} > 0) = \frac{1}{4} ，$ 不相等，所以不独立，和定理一致。 $ρ = 0$ 时这个概率恰好是 $\frac{1}{4} 。$

例 3：回归直线的数值例子

父亲身高 $X_{1} 、$ 儿子身高 $X_{2}$ （单位 cm），设 $μ_{1} = μ_{2} = 170 ，$ $σ_{1} = 10 ，$ $σ_{2} = 5 ，$ $ρ = 0.6$ （为方便计算假设的数字）。已知父亲身高 180（高出均值 10），由引理，儿子身高的条件分布是

N (170 + 0.6 \times \frac{5}{10} \times 10, 25 \times (1 - 0.36)) = N (173, 16) .

预测值比平均高 3 cm，不确定性从标准差 5 缩小到 4。若 $ρ = 0 ，$ 条件分布就是 $N (170, 25) ，$ 父亲身高对预测毫无帮助，这正是「独立」。

例 4：另一个「不相关但不独立」

$X \sim N (0, 1) ，$ $Y = X^{2} - 1 。$ $Cov (X, Y) = E [X^{3}] - E X E [X^{2} - 1] = 0 - 0 = 0$ （ $X^{3}$ 是奇函数，均值为 0）。但 $Y$ 完全由 $X$ 决定，两者不独立：例如 ${Y > 0} = {∣ X ∣ > 1}$ 和 ${∣ X ∣ \leq 1}$ 不可能同时发生，交集的概率是 0，而 $P (∣ X ∣ > 1) P (∣ X ∣ \leq 1) \approx 0.317 \times 0.683 \approx 0.22 \neq = 0 。$ 这里 $Y$ 根本不是正态， $(X, Y)$ 当然不是二元正态。协方差只衡量线性关系， $Y = X^{2} - 1$ 是非线性关系，协方差看不出来。

常见疑问与易错点

易错点问：为什么正态分布这么特殊？

答：二元正态的「依赖关系」全部写在密度指数的交叉项 $- \frac{2 ρ uv}{σ _{1} σ _{2}}$ 里，而交叉项的系数就是相关系数 $ρ 。$ $ρ = 0$ 时交叉项消失，指数变成两项之和， $e^{和} = e^{一项} \cdot e^{另一项} ，$ 密度自然分解成乘积。对一般分布，依赖关系可以藏在非线性的结构里（例 4），协方差看不见。

易错点问：课件写「pairwise independent」，两个变量还分两两和相互吗？

答：两个变量只有一种独立。课件用 pairwise 是为了和下一页的「jointly independent」（ $n$ 个变量相互独立）对照：这一页的结论用在每一对 $(X_{i}, X_{j})$ 上，得到的是两两独立；下一页证明更强的相互独立。

易错点问：证明里为什么能用 Fubini 交换积分顺序？

答：算协方差时被积函数 $(x_{1} - μ_{1}) (x_{2} - μ_{2}) f$ 有正有负，要先检查绝对可积： $∣ uv ∣ f \leq \frac{u ^{2} + v ^{2}}{2} f ，$ 右边的积分是 $\frac{σ _{1}^{2} + σ _{2}^{2}}{2} < \infty$ （Tonelli + 边缘分布的方差）。算概率时被积函数非负，直接用 Tonelli。

小结与自测

小结本页小结

配方：二元正态密度 = $N (μ_{1}, σ_{1}^{2})$ 密度 × 条件密度 $N (μ_{2} + ρ \frac{σ _{2}}{σ _{1}} (x_{1} - μ_{1}), σ_{2}^{2} (1 - ρ^{2})) 。$ 由此用 Fubini 得到边缘分布和 $Cov = ρ σ_{1} σ_{2} 。$
定理：联合正态时，独立 ⇔ $Cov = 0$ ⇔ $ρ = 0 。$ 「⇒」对任何可积变量成立；「⇐」靠密度分解成乘积 ⇒ 乘积测度 ⇒ 独立。
反例： $Y = SX$ 各自正态、不相关、不独立， $(X, Y)$ 不是联合正态； $Y = X^{2} - 1$ 不相关但不独立。
应用：独立标准正态的和与差相互独立。

自测

1. $(X_{1}, X_{2})$ 是二元正态， $Var X_{1} = 4 ，$ $Var X_{2} = 9 ，$ $Cov (X_{1}, X_{2}) = 3 。$ 求 $ρ ，$ 并判断是否独立。

点开看答案

$ρ = \frac{3}{2 \times 3} = 0.5 \neq = 0 ，$ 不独立。

2. $X_{1}, X_{2}$ 独立、都是 $N (0, 1) ，$ $U = X_{1} + 2 X_{2} ，$ $V = 2 X_{1} - X_{2} 。$ $U 、$ $V$ 独立吗？

点开看答案

$(U, V)$ 是联合正态（线性变换）， $Cov (U, V) = 1 \cdot 2 \cdot Var X_{1} + 2 \cdot (- 1) \cdot Var X_{2} = 2 - 2 = 0 ，$ 所以独立。

3. 在反例 $Y = SX$ 中，求 $P (X + Y = 0) 。$

点开看答案

$X + Y = (1 + S) X 。$ $S = - 1$ （概率 $\frac{1}{2} ）$ 时为 0； $S = 1$ 时为 $2 X ，$ 等于 0 的概率是 0。所以 $P (X + Y = 0) = \frac{1}{2} 。$

本页术语中英对照（按出现顺序）

中文	English	白话解释
多元正态分布	multivariate normal distribution	由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言，不相关等价于独立。
协方差	covariance	Cov(X, Y) = E[(X − EX)(Y − EY)]，衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0，反之一般不成立。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
联合分布	joint law (joint distribution)	随机向量 (X, Y) 在平面上的分布：对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
乘积测度	product measure	在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度（σ-有限时）。平面面积就是长度 × 长度的乘积测度。
Fubini 定理	Fubini's theorem	f 关于乘积测度绝对可积（∬\|f\| < ∞）时，二重积分等于两种顺序的累次积分。
边缘分布	marginal law	随机向量中单个坐标的分布，例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
Tonelli 定理	Tonelli's theorem	f 非负可测、两个测度 σ-有限时，二重积分等于两种顺序的累次积分，三者可以同时为 ∞。
协方差矩阵	covariance matrix	第 (i, j) 个元素是 Cov(Xᵢ, Xⱼ) 的矩阵，对角线上是各分量的方差。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
阶矩	moment	E[\|X\|ᵖ] 叫 p 阶（绝对）矩；它有限与否反映尾部有多「重」。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
博雷尔 σ-代数	Borel sigma-algebra	由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ)，包含所有常见的集合。
交集	intersection	同时属于两个集合的元素全体，A ∩ B 对应「A 且 B」。
相关系数	correlation coefficient	ρ = Cov(X, Y) / √(Var X · Var Y)，在 −1 到 1 之间，衡量线性相关的强弱。