18 一族随机变量的独立；两两独立不等于相互独立 · 第4讲

这一页在讲什么

人话版一句话版

一族随机变量 ${X_{i}}_{i \in I}$ （可以有无穷多个）独立，指从中任取有限个，它们同时落在各自集合里的概率等于各自概率的乘积。「任意两个独立」（两两独立）比这弱得多：课件的例子里三个事件两两独立，三个一起却不独立。

位置：第 3 部分。第 16 页讲了两个对象的独立和 $n$ 个事件的独立，第 17 页说明独立 ⇔ 乘积测度；这一页给出最一般的定义，并用例子划清「两两」与「相互」的界线。
后面怎么用：第 20 页证明多元正态的分量两两独立 ⇔ 协方差为 0；第 21 页证明相互独立 ⇔ 所有协方差为 0。两页的区别正是本页的区别。

先补基础

基础补课指标集

${X_{i}}_{i \in I}$ 中的 $I$ 叫指标集，只是用来给随机变量编号的集合：可以是 ${1, 2, 3} 、$ $N ，$ 也可以是不可数集，例如 $[0, \infty)$ （随时间连续变化的随机过程）。

基础补课取值空间 (Eᵢ, ℬᵢ)

随机变量不一定取实数值： $X_{i} : Ω \to E_{i}$ 可以取向量、序列、颜色……只要 $E_{i}$ 带一个 σ-代数 $B_{i} ，$ 并且 $X_{i}$ 可测（每个 ${X_{i} \in B} ，$ $B \in B_{i} ，$ 都是事件）。取 $E_{i} = R 、$ $B_{i} = B (R)$ 就是通常的随机变量（第 4 页）。

基础补课有限子集的个数

$n$ 个元素的集合有 $2^{n}$ 个子集，其中含至少两个元素的有 $2^{n} - n - 1$ 个（去掉空集和 $n$ 个单元素集）。 $n = 3$ 时是 $8 - 3 - 1 = 4$ 个：三个两元子集和一个三元子集。

课件原文逐句精读

课件原文Independence

Definition (Independence of Random Variables). A collection of random variables $X_{i} : (Ω, F, P) \to (E_{i}, B_{i})$ , $i \in I$ for some index set $I$ , are independent if for any finite $J \subset I$ and any $B_{j} \in B_{j}$ ,

P (X_{j} \in B_{j} for j \in J) = j \in J \prod P (X_{j} \in B_{j}) .

Pairwise independence: Any two events in the collection are independent of each other. Joint/mutual independence: Each event is independent of any combination of others.
Example. The sample space $Ω$ consisting of four equally likely points, $a_{1}, a_{2}, a_{3}, a_{4}$ . Let $A = {a_{1}, a_{2}}$ , $B = {a_{2}, a_{3}}$ , $C = {a_{3}, a_{1}}$ . The three are not independent, but they are pairwise.

中文翻译

蓝条标题：独立性。

定义（随机变量的独立）. 一族随机变量 $X_{i} : (Ω, F, P) \to (E_{i}, B_{i}) ，$ $i \in I$ （ $I$ 是某个指标集），称为独立的，如果对任意有限子集 $J \subset I$ 和任意 $B_{j} \in B_{j} ，$ 都有 $P (X_{j} \in B_{j} 对所有 j \in J) = \prod_{j \in J} P (X_{j} \in B_{j}) 。$
两两独立：族中任意两个事件互相独立。联合（相互）独立：每个事件与其他事件的任何组合都独立。
例. 样本空间 $Ω$ 由四个等可能的点 $a_{1}, a_{2}, a_{3}, a_{4}$ 组成。令 $A = {a_{1}, a_{2}} ，$ $B = {a_{2}, a_{3}} ，$ $C = {a_{3}, a_{1}} 。$ 这三个事件不（相互）独立，但两两独立。

逐句说明：

定义里只看有限子集：无穷多个事件的交的概率可以由有限交取极限得到（从上连续性），所以只需要对有限个提要求。例如无穷次抛硬币，「所有 $ω_{i}$ 都是正面」的概率 $= lim_{n} 2^{- n} = 0$ （第 17 页例 2），不需要单独规定。
「 $X_{j} \in B_{j}$ for $j \in J 」$ ：指所有 $j \in J$ 同时满足，即事件 $⋂_{j \in J} {X_{j} \in B_{j}} 。$
等价说法： ${X_{i}}$ 独立 ⇔ 生成的 σ-代数族 ${σ (X_{i})}$ 独立（第 16 页命题 1 的推广），因为 $σ (X_{i})$ 正是由所有 ${X_{i} \in B}$ 组成的。
「any combination of others」：其他事件经过交、并、补得到的任何事件。相互独立时，例如 $A$ 与 $B \cap C 、$ $A$ 与 $B \cup C^{c}$ 都独立。

补全课件留白

补充说明

课件这一页文字完整，没有留白；以下是对例子的逐步验证和补充，由本站依据标准教材补写，以老师课堂为准。

课件例子的验证

四个点等可能，每点概率 $\frac{1}{4} ；$ $A, B, C$ 各含两点，概率都是 $\frac{1}{2} 。$

交集	包含的点	概率	乘积	相等？
$A \cap B$	$a_{2}$	$\frac{1}{4}$	$\frac{1}{2} \times \frac{1}{2} = \frac{1}{4}$	是
$B \cap C$	$a_{3}$	$\frac{1}{4}$	$\frac{1}{4}$	是
$A \cap C$	$a_{1}$	$\frac{1}{4}$	$\frac{1}{4}$	是
$A \cap B \cap C$	无	$0$	$\frac{1}{8}$	否

三对都独立，所以两两独立；三个一起不满足乘积公式，所以不相互独立。直观上：知道 $A 、$ $B$ 都发生（结果是 $a_{2} ），$ 就知道 $C$ 一定没发生， $A$ 与「 $B$ 且 $C 」$ 这个组合不独立。

定义（事件族的两两独立与相互独立）

事件族 ${A_{i}}_{i \in I} ：$

两两独立：对任意 $i \neq = j ，$ $P (A_{i} \cap A_{j}) = P (A_{i}) P (A_{j}) ；$
相互独立：对任意有限 $J \subseteq I ，$ $P (⋂_{j \in J} A_{j}) = \prod_{j \in J} P (A_{j}) 。$ 等价地，示性函数 ${1_{A_{i}}}$ 按课件的定义独立。

相互独立 ⇒ 两两独立（取 $∣ J ∣ = 2 ）；$ 反过来不成立（课件的例子）。对 $n$ 个事件，相互独立要检查 $2^{n} - n - 1$ 个等式，两两独立只检查其中 $(2 n)$ 个。

命题（补集不破坏独立）

若 $A, B$ 独立，则 $A$ 与 $B^{c} 、$ $A^{c}$ 与 $B 、$ $A^{c}$ 与 $B^{c}$ 都独立。相互独立的事件族中，把任意几个换成补集，仍然相互独立。

证明（以 $A$ 与 $B^{c}$ 为例）： $A = (A \cap B) \cup (A \cap B^{c})$ 不交，所以

P (A \cap B^{c}) = P (A) - P (A \cap B) = P (A) - P (A) P (B) = P (A) (1 - P (B)) = P (A) P (B^{c}) .

多个事件时，对被换成补集的事件逐个用同样的减法即可。 $■$

这说明：课件定义里取 $B_{j}$ 为 ${1}$ （事件发生）就够了，取 ${0}$ （不发生）的情形自动成立。

例子

例 1：两枚硬币和「两次相同」

抛两枚公平硬币， $A$ =「第一枚正面」， $B$ =「第二枚正面」， $C$ =「两枚相同」。四种结果等可能。

$P (A) = P (B) = P (C) = \frac{1}{2}$ （ $C = {正正, 反反} ）。$
$A \cap B = A \cap C = B \cap C = {正正} ，$ 概率都是 $\frac{1}{4} ：$ 两两独立。
$A \cap B \cap C = {正正} ，$ 概率 $\frac{1}{4} \neq = \frac{1}{8} ：$ 不相互独立。

原因： $A 、$ $B$ 一起完全决定了 $C 。$ 单独知道 $A$ 对 $C$ 毫无帮助，两者一起知道就确定了 $C 。$ 这和课件的例子是同一个结构。

例 2：随机变量版本——X、Y、XY

$X, Y$ 独立，各以 $\frac{1}{2}$ 的概率取 $\pm 1 ，$ 令 $Z = X Y 。$

$Z$ 也以 $\frac{1}{2}$ 的概率取 $\pm 1 ；$ 例如 $P (X = 1, Z = 1) = P (X = 1, Y = 1) = \frac{1}{4} = P (X = 1) P (Z = 1) 。$ 逐一检查可知 $X, Y, Z$ 两两独立。
但 $P (X = 1, Y = 1, Z = - 1) = 0 \neq = \frac{1}{8} ：$ 不相互独立。
后果： $E [X Y Z] = E [X^{2} Y^{2}] = 1 ，$ 而 $E X E Y E Z = 0 。$ 三个变量的乘积期望要拆开，必须相互独立。

例 3：反方向也不成立——三元乘积公式不保证两两独立

$Ω = {1, \dots, 8}$ 等可能， $A = B = {1, 2, 3, 4} ，$ $C = {1, 5, 6, 7} 。$

$P (A \cap B \cap C) = P ({1}) = \frac{1}{8} = \frac{1}{2} \times \frac{1}{2} \times \frac{1}{2} 。$
但 $P (A \cap B) = P (A) = \frac{1}{2} \neq = \frac{1}{4} ：$ $A 、$ $B$ 不独立。

所以相互独立的定义要求所有有限子族，只验证「全部一起」的乘积公式是不够的。

例 4：两两独立有时就够用

若 $X_{1}, \dots, X_{n}$ 两两独立、方差有限，则

Var (i = 1 \sum n X_{i}) = i = 1 \sum n Var X_{i},

因为展开平方后，交叉项 $Cov (X_{i}, X_{j})$ 只涉及两个变量，两两独立时都为 0（第 10 页的推论）。于是 Chebyshev 型的弱大数定律（第 3 讲第 37 页）只需要两两独立。例 2 中 $Var (X + Y + Z) = 1 + 1 + 1 = 3 ，$ 可以直接验证。

常见疑问与易错点

易错点问：为什么定义里只要求有限子集 J，不要求整个 I？

答：一方面，无穷多个事件同时发生的概率由有限交取极限确定，不需要另外规定；另一方面，无穷乘积 $\prod_{i \in I} P (\cdot)$ 本身可能没有意义（例如不可数多个因子）。只看有限子集，定义对任何指标集都适用。

易错点问：说「三个事件独立」时，默认是哪一种？

答：默认是相互独立。只要两两独立时要明说「两两独立」。教材、考试题都遵守这个约定。

易错点问：两两独立的例子看起来都很「人造」，实际中重要吗？

答：重要。它提醒我们：每两个变量之间看不出任何关系，不等于整体上没有关系（例 2 中 $Z$ 完全由 $X 、$ $Y$ 决定）。在密码学和随机算法里，人们还专门利用两两独立的随机数，因为它们更容易生成，而且对方差计算已经够用（例 4）。

小结与自测

小结本页小结

定义： ${X_{i}}_{i \in I}$ 独立 ⇔ 对任意有限 $J \subseteq I$ 和 $B_{j} \in B_{j} ，$ $P (X_{j} \in B_{j}, j \in J) = \prod_{j \in J} P (X_{j} \in B_{j}) 。$
两两独立：任意两个独立；相互独立：任意有限个都满足乘积公式。相互 ⇒ 两两，反之不成立。
反例：四点空间的 $A, B, C ；$ 两枚硬币与「两次相同」； $X, Y, X Y 。$
三元乘积公式也推不出两两独立；方差可加只需两两独立，乘积期望拆开需要相互独立。

自测

1. 四个事件相互独立，要检查多少个等式？两两独立呢？

点开看答案

相互独立： $2^{4} - 4 - 1 = 11$ 个（6 个两元、4 个三元、1 个四元）。两两独立： $(2 4) = 6$ 个。

2. 在课件的例子里， $A$ 与 $B \cap C$ 独立吗？

点开看答案

不独立。 $B \cap C = {a_{3}} ，$ $P (B \cap C) = \frac{1}{4} ；$ $A \cap (B \cap C) = \emptyset ，$ 概率 0，不等于 $\frac{1}{2} \times \frac{1}{4} = \frac{1}{8} 。$

3. 掷一颗公平骰子， $A$ =「偶数」， $B$ =「点数 $\leq 4 」。$ $A 、$ $B$ 独立吗？

点开看答案

$P (A) = \frac{1}{2} ，$ $P (B) = \frac{2}{3} ，$ $A \cap B = {2, 4} ，$ $P (A \cap B) = \frac{1}{3} = \frac{1}{2} \times \frac{2}{3} 。$ 独立。

本页术语中英对照（按出现顺序）

中文	English	白话解释
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
集合	set	把一些对象放在一起当成一个整体，例如 {1,2,3}。
两两独立	pairwise independence	任意两个都独立。比相互独立弱：三个事件可以两两独立却不相互独立。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
乘积测度	product measure	在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度（σ-有限时）。平面面积就是长度 × 长度的乘积测度。
多元正态分布	multivariate normal distribution	由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言，不相关等价于独立。
协方差	covariance	Cov(X, Y) = E[(X − EX)(Y − EY)]，衡量两个变量一起变大或变小的倾向。独立 ⇒ 协方差为 0，反之一般不成立。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
不可数	uncountable	无论怎么排都排不成一列，例如区间 [0,1] 里的全体实数。
随机过程	stochastic process	一族随时间变化的随机变量 {Sₜ}；固定 ω 得到一条路径。
σ-代数	sigma-algebra	允许谈概率的「事件清单」：含 Ω，对补集和可数并封闭。
元素	element	集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
子集	subset	A 的每个元素都在 B 里，就说 A 是 B 的子集，记作 A ⊆ B。
空集	empty set	一个元素也没有的集合，记作 ∅。作为事件，它永远不会发生。
样本空间	sample space	一次试验所有可能的完整结局组成的集合，记作 Ω。
从上连续	continuity from above	集合一层层变小（Eₙ ↓ E）且 μ(E₁) < ∞ 时，μ(Eₙ) → μ(E)。
生成的 σ-代数	generated sigma-algebra	包含给定集合族的最小 σ-代数 σ(𝒞)：只加入「被逼着加入」的集合。
交集	intersection	同时属于两个集合的元素全体，A ∩ B 对应「A 且 B」。
示性函数	indicator function	𝟏_A(x) 在 x ∈ A 时取 1，否则取 0；它的积分就是 A 的测度。
补集	complement	样本空间里不属于 A 的元素全体，记作 Aᶜ，对应「A 不发生」。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
弱大数定律	weak law of large numbers (WLLN)	样本均值依概率收敛到真实均值：对每个 ε > 0，P(\|Sₙ/n − μ\| > ε) → 0。方差有限时可由 Chebyshev 不等式直接推出。
可数	countable	元素能排成第 1 个、第 2 个、第 3 个……的一列（有限也算），例如自然数、有理数。