17 多个随机变量的独立：联合分布 = 乘积测度；无穷序列空间 · 第4讲

这一页在讲什么

人话版一句话版

三件事。①在无穷乘积空间上，乘积柱集的概率规定为各坐标概率的乘积，这条规则唯一确定一个概率（无穷乘积测度）。②**独立 ⇔ 联合分布是乘积测度： $X_{1}, \dots, X_{n}$ 独立，当且仅当 $(X_{1}, \dots, X_{n})$ 的分布等于各自分布的乘积测度。③在实数序列空间 $R^{N}$ 上，乘积 σ-代数要用所有有限维**的柱集来生成，这样「 $ω_{i}$ 收敛」这种牵涉无穷多个坐标的事件才成为事件；对非退化的 i.i.d. 序列，它的概率是 0。

位置：第 3 部分的核心页。第 16 页定义了事件、随机变量、σ-代数的独立，以及柱集；这一页把「独立」和第 1 部分的「乘积测度」接起来。
课件留白：柱集概率的公式、等价定理的内容，以及最后两个问题的答案。下面逐一补全。
后面怎么用：第 18 页把定义推广到任意一族随机变量；第 20 页、第 21 页用「联合密度分解成乘积 ⇒ 独立」证明多元正态的结论。

先补基础

基础补课乘积柱集（回顾第 16 页）

在 $Ω = Ω_{1} \times Ω_{2} \times \dots$ 上，乘积柱集只对有限个坐标提要求：

C = {ω : ω_{1} \in B_{1}, \dots, ω_{n} \in B_{n}} = B_{1} \times \dots \times B_{n} \times Ω_{n + 1} \times Ω_{n + 2} \times \dots

第 $n$ 个之后的坐标随便取。例：无穷次抛硬币中「第 1 次正面、第 3 次反面」是一个柱集（第 2 次不限制，取 $B_{2} = Ω_{2} ）。$

基础补课由一组映射生成的 σ-代数

$σ (X_{1}, \dots, X_{n})$ 是让 $X_{1}, \dots, X_{n}$ 都可测的最小 σ-代数，由所有 ${X_{1} \in B_{1}, \dots, X_{n} \in B_{n}}$ 生成。直观上，它包含「只看 $X_{1}, \dots, X_{n}$ 的取值就能判断是否发生」的全部事件。

基础补课第二 Borel–Cantelli 引理（回顾）

若事件 $A_{1}, A_{2}, \dots$ 相互独立且 $\sum_{k} P (A_{k}) = \infty ，$ 则以概率 1 有无穷多个 $A_{k}$ 发生（第 3 讲第 7 页）。本页最后一个问题要用它。

课件原文逐句精读

课件原文Independence of multiple events

For a product cylinder set $C$ defined above and a fixed $n \in N$ , we specify the probability measure space $(Ω_{i}, F_{i}, P_{i})$ , $i \in N$ , we can define its probability by（留白）
The equivalence between product measure and independence:（留白）
Let $Ω$ be the set of all countable sequences $ω = (ω_{1}, ω_{2}, ω_{3} \dots)$ of real numbers. Let $P$ be the probability measure that makes the $ω_{i}$ independent identically distributed.
Let $F$ be the smallest σ-algebra (product σ-algebra) that makes the maps $ω \to ω_{i}$ measurable for $i = 1, 2, \dots, n$ , the $F$ is the product σ-algebra: smallest σ-algebra generated by the cylinder set of form $B_{i} = {ω_{i} \in (a_{i}, b_{i}], 1 \leq i \leq n}$ .
Question: What we can say if the event that the $ω_{i}$ converges to a limit? Let $n = \infty$ , how the generated σ-algebra and the corresponding probability measure change?
The limit exists, the marginal of the distribution is...?

中文翻译

蓝条标题：多个事件的独立。

对上面定义的乘积柱集 $C$ 和固定的 $n \in N ，$ 给定概率空间 $(Ω_{i}, F_{i}, P_{i})$ （ $i \in N ），$ 可以把它的概率定义为（课件留白）
乘积测度与独立性的等价：（课件留白）
设 $Ω$ 是所有实数序列 $ω = (ω_{1}, ω_{2}, ω_{3}, \dots)$ 组成的集合， $P$ 是使各个 $ω_{i}$ 独立同分布的概率测度。
设 $F$ 是使映射 $ω \mapsto ω_{i}$ （ $i = 1, 2, \dots, n ）$ 都可测的最小 σ-代数（乘积 σ-代数），即由形如 ${ω_{i} \in (a_{i}, b_{i}], 1 \leq i \leq n}$ 的柱集生成的最小 σ-代数。
问题：「 $ω_{i}$ 收敛到某个极限」这个事件，我们能说什么？令 $n = \infty ，$ 生成的 σ-代数和相应的概率测度会怎样变化？
如果极限存在，（每个坐标的）边缘分布会是……？

countable sequences 指「可数无穷长的序列」，即 $ω_{1}, ω_{2}, \dots$ 一直排下去。
第四条的柱集应写成 ${ω : ω_{i} \in (a_{i}, b_{i}] 对所有 1 \leq i \leq n}$ （ $n$ 个条件同时成立），课件把它记成 $B_{i}$ 容易误会成单个坐标的条件。
第四条只让 $i \leq n$ （固定的 $n ）$ 的坐标可测，这样生成的 σ-代数只「看得见」前 $n$ 个坐标。第五条的「令 $n = \infty 」$ 就是要去掉这个限制。

补全课件留白

补充说明

课件此处留白（课堂板书），以下内容由本站根据标准教材补写，记号与本课件保持一致；如与老师课堂写法不同，以老师为准。

乘积柱集的概率

定理（无穷乘积测度）

设 $(Ω_{i}, F_{i}, P_{i})$ （ $i \in N ）$ 是概率空间， $Ω = \prod_{i} Ω_{i} ，$ $F = ⨂_{i} F_{i}$ 是由所有乘积柱集生成的 σ-代数（第 16 页）。则存在唯一的概率测度 $P ，$ 使得对每个 $n$ 和每个乘积柱集

P (B_{1} \times \dots \times B_{n} \times Ω_{n + 1} \times Ω_{n + 2} \times \dots) = P_{1} (B_{1}) P_{2} (B_{2}) \dots P_{n} (B_{n}) (B_{i} \in F_{i}) .

它叫无穷乘积测度，记作 $⨂_{i} P_{i} ；$ 所有 $P_{i}$ 相同（ $= μ ）$ 时记作 $μ^{\otimes N} 。$

规则自洽：同一个柱集可以用不同的 $n$ 来写，例如把 $B_{n + 1} = Ω_{n + 1}$ 也写出来；右边多乘一个 $P_{n + 1} (Ω_{n + 1}) = 1 ，$ 值不变。
唯一性：乘积柱集对有限交封闭（第 16 页命题 4），是生成 $F$ 的 π-系；两个概率测度在它上面相等，由 π-λ 定理（第 7 页）在整个 $F$ 上相等。
存在性：有限个时就是第 7 页的乘积测度定理反复使用；无穷个时需要 Kolmogorov 扩张定理（这里作为已知事实，不证明）。

The equivalence between product measure and independence｜乘积测度与独立性的等价

定理（独立 ⇔ 联合分布是乘积测度）

设 $X_{1}, \dots, X_{n}$ 是 $(Ω, F, P)$ 上的随机变量， $X_{i}$ 的分布为 $μ_{i} ，$ $(X_{1}, \dots, X_{n})$ 的联合分布为 $μ_{X}$ （ $R^{n}$ 上的概率测度）。则

X_{1}, \dots, X_{n} 相互独立 ⟺ μ_{X} = μ_{1} \times μ_{2} \times \dots \times μ_{n} .

这里「 $X_{1}, \dots, X_{n}$ 相互独立」指：对所有博雷尔集 $B_{1}, \dots, B_{n} ，$ $P (X_{1} \in B_{1}, \dots, X_{n} \in B_{n}) = \prod_{i} P (X_{i} \in B_{i}) 。$ 只取部分变量的情形包含在内：把不关心的 $B_{i}$ 取成 $R$ 即可。

证明：

⇐：取 $B = B_{1} \times \dots \times B_{n} 。$ $P (X_{1} \in B_{1}, \dots, X_{n} \in B_{n}) = μ_{X} (B) = (μ_{1} \times \dots \times μ_{n}) (B) = \prod_{i} μ_{i} (B_{i}) = \prod_{i} P (X_{i} \in B_{i}) 。$
⇒：独立性说明 $μ_{X}$ 与 $μ_{1} \times \dots \times μ_{n}$ 在所有矩形 $B_{1} \times \dots \times B_{n}$ 上相等。矩形是 π-系，生成 $B (R)^{\otimes n} = B (R^{n})$ （第 6 页命题 2 的 $n$ 维版本）。两个概率测度在生成 σ-代数的 π-系上相等，由 π-λ 定理（第 7 页）处处相等。 $■$

三个推论：

构造 i.i.d. 序列：取 $Ω = R^{N} ，$ $P = μ^{\otimes N} ，$ $X_{i} (ω) = ω_{i}$ （坐标映射）。由定理，任意有限个 $X_{i_{1}}, \dots, X_{i_{k}}$ 的联合分布是 $μ^{\otimes k} ，$ 所以 $X_{1}, X_{2}, \dots$ i.i.d.，分布都是 $μ 。$ 这就兑现了第 5 页的承诺：「设 $X_{1}, X_{2}, \dots$ i.i.d.」不再是空话。
期望可以拆开： $X, Y$ 独立， $f, g$ 是博雷尔函数且 $f (X) 、$ $g (Y)$ 可积，则 $E [f (X) g (Y)] = E f (X) E g (Y) 。$ 证明：联合分布是 $μ_{X} \times μ_{Y} ，$ 对 $f (x) g (y)$ 用 Fubini（第 10 页推论的推广）。
离散情形： $X, Y$ 只取可数个值时，独立 ⇔ 对所有 $x, y ，$ $P (X = x, Y = y) = P (X = x) P (Y = y)$ （联合概率表 = 边缘概率的乘积表）。

序列空间：令 n = ∞

在 $Ω = R^{N}$ 上，记 $F_{n} = σ (ω_{1}, \dots, ω_{n}) ，$ 它由 ${ω : ω_{i} \in (a_{i}, b_{i}], 1 \leq i \leq n}$ 生成，是课件第四条那个只看前 $n$ 个坐标的 σ-代数。

$F_{1} \subseteq F_{2} \subseteq \dots ：$ 看的坐标越来越多。
每个 $F_{n}$ 都缺少「依赖无穷多个坐标」的事件，例如「所有 $ω_{i}$ 都 $> 0 」$ 不在任何 $F_{n}$ 里。
令 $n = \infty$ ：取 $F = σ (⋃_{n} F_{n}) ，$ 即由所有有限维柱集生成的 σ-代数，这就是乘积 σ-代数 $B (R)^{\otimes N} 。$ 注意 $⋃_{n} F_{n}$ 本身不是 σ-代数（它对可数并不封闭），必须再「生成」一次。
概率测度： $P = μ^{\otimes N} ，$ 由它在柱集上的值（即在每个 $F_{n}$ 上的值 $μ^{\otimes n} ）$ 唯一确定。

Question: does ω_i converge?｜「ω_i 收敛」这个事件

命题（收敛事件）

$L := {ω : lim_{i \to \infty} ω_{i} 存在且有限}$ 属于乘积 σ-代数 $F ，$ 但不属于任何 $F_{n} 。$
若 $P = μ^{\otimes N}$ 且 $μ$ 不是单点分布（不是以概率 1 取某个常数），则 $P (L) = 0 。$

第 1 条：由柯西准则，序列收敛 ⇔ 对每个 $k ，$ 存在 $N ，$ 使所有 $i, j \geq N$ 都有 $∣ ω_{i} - ω_{j} ∣ \leq \frac{1}{k} 。$ 翻译成集合：

L = k = 1 ⋂ \infty N = 1 ⋃ \infty i, j \geq N ⋂ {ω : ∣ ω_{i} - ω_{j} ∣ \leq \frac{1}{k}} .

每个 ${∣ ω_{i} - ω_{j} ∣ \leq \frac{1}{k}}$ 只依赖两个坐标，属于 $F_{m a x (i, j)} \subseteq F ；$ 经过可数次交、并， $L \in F 。$

另一方面， $F_{n}$ 中的集合都形如 $B \times R \times R \times \dots$ （ $B \subseteq R^{n} ）：$ 前 $n$ 个坐标相同的两个序列，要么都在、要么都不在。取全 0 序列（收敛，在 $L$ 里）和「前 $n$ 个是 0、之后是 $0, 1, 0, 1, \dots 」$ 的序列（不收敛，不在 $L$ 里），它们前 $n$ 个坐标相同，所以 $L \in / F_{n} 。$ 改动任意有限个坐标都不影响是否收敛，这样的事件叫尾事件。

第 2 条：

两个独立同分布的变量不太可能相等：设 $X, X^{'}$ 独立、分布都是 $μ 。$ 由截口公式（第 8 页）， $P (X = X^{'}) = \int μ ({x}) d μ (x) ，$ 它等于 $\sum_{a} μ ({a})^{2}$ （只有原子 $a$ 有贡献）。若 $μ$ 不是单点分布，每个原子的质量都 $< 1 ，$ 于是 $\sum_{a} μ ({a})^{2} < \sum_{a} μ ({a}) \leq 1 ，$ 即 $P (X \neq = X^{'}) > 0 。$ 由从下连续性，存在 $ε > 0$ 使 $p := P (∣ X - X^{'} ∣ > ε) > 0 。$
不相交的配对相互独立：令 $A_{k} = {∣ ω_{2 k} - ω_{2 k - 1} ∣ > ε} 。$ 不同的 $A_{k}$ 用的是不同的坐标，相互独立，且 $P (A_{k}) = p 。$
第二 Borel–Cantelli 引理： $\sum_{k} p = \infty ，$ 所以以概率 1 有无穷多个 $A_{k}$ 发生，即无穷多次出现 $∣ ω_{2 k} - ω_{2 k - 1} ∣ > ε 。$
这样的序列不满足柯西准则，不收敛。所以 $P (L) = 0 。$ $■$

The limit exists, the marginal is...?｜如果极限存在，边缘分布是什么

一种理解：假设 i.i.d. 序列以正概率收敛到极限 $ω_{\infty} 。$ 由第 2 条，这只可能发生在 $μ$ 是单点分布 $δ_{c}$ 时：此时几乎必然每个 $ω_{i} = c ，$ 极限就是常数 $c ，$ 每个坐标的边缘分布都是 $δ_{c} 。$ 换句话说，对 i.i.d. 序列，「极限存在」逼迫边缘分布退化成一个点。

更一般的结论是 Kolmogorov 0-1 律（后续内容）：独立序列的尾事件，概率只能是 0 或 1。 $L$ 是尾事件，所以 $P (L) \in {0, 1} ；$ 非退化的 i.i.d. 情形是 0，退化情形是 1。

例子

例 1：三次抛硬币中的柱集

公平硬币抛三次， $P (ω_{1} = 正, ω_{3} = 反) ：$ 柱集 ${正} \times Ω_{2} \times {反} ，$ 概率 $\frac{1}{2} \times 1 \times \frac{1}{2} = \frac{1}{4} 。$ 直接数：8 种结果中满足的有 $(正, 正, 反) 、$ $(正, 反, 反)$ 两种， $\frac{2}{8} = \frac{1}{4} 。$

例 2：无穷次抛硬币——「永远正面」的概率

$A_{n} = {ω_{1} = \dots = ω_{n} = 正}$ 是柱集， $P (A_{n}) = 2^{- n} 。$ 「永远正面」 $= ⋂_{n} A_{n} ，$ $A_{n}$ 递减，由从上连续性（第 14 页），概率 $= lim_{n} 2^{- n} = 0 。$ 它依赖无穷多个坐标，在乘积 σ-代数里、却不在任何 $F_{n}$ 里。

例 3：同样的边缘分布，独立与不独立

$X, Y \in {0, 1} ，$ $P (X = 1) = 0.4 ，$ $P (Y = 1) = 0.3 。$

联合概率表	$(0, 0)$	$(0, 1)$	$(1, 0)$	$(1, 1)$	独立？
表一	$0.42$	$0.18$	$0.28$	$0.12$	是：每格都等于边缘之积，如 $0.6 \times 0.7 = 0.42$
表二	$0.50$	$0.10$	$0.20$	$0.20$	否： $0.50 \neq = 0.6 \times 0.7$

两张表的行和都是 $(0.6, 0.4) 、$ 列和都是 $(0.7, 0.3) 。$ 只有表一是乘积测度，和第 4 页的道理一样。

例 4：i.i.d. 正态序列不收敛

$X_{i}$ i.i.d. $N (0, 1) 。$ $X_{2 k} - X_{2 k - 1} \sim N (0, 2) ，$ 所以

P (∣ X_{2 k} - X_{2 k - 1} ∣ > 1) = 2 (1 - Φ (\frac{1}{2})) \approx 0.480.

差值超过 1 的配对平均每两对就有约一对，而且以概率 1 出现无穷多次，序列不可能收敛。对比：样本平均 $\frac{1}{n} \sum X_{i}$ 却会收敛到 0（大数定律），平均能消掉波动，单个坐标不能。

常见疑问与易错点

易错点问：为什么只验证矩形（或柱集）上的乘积公式，就能推出所有集合上都对？

答：靠 π-λ 定理：矩形（柱集）对有限交封闭，生成整个乘积 σ-代数；两个概率测度在它上面相等，就处处相等。这也是为什么独立性的定义只要求 $P (X \in B_{1}, Y \in B_{2})$ 拆成乘积，却能推出 $(X, Y)$ 落在圆盘、三角形里的概率都由乘积测度给出。

易错点问：F_n 都是 σ-代数，它们的并为什么不是？

答：例如 ${ω_{n} > 0} \in F_{n} ，$ 但可数并 $⋃_{n} {ω_{n} > 0}$ （「某个坐标为正」）一般不在任何一个 $F_{n}$ 里，所以不在并集里。σ-代数的递增并要再生成一次才封闭。

易错点问：「独立」和「乘积测度」到底哪个是定义？

答：本讲把独立定义为「概率能拆成乘积」（第 16 页、第 18 页），本页的定理说明它等价于「联合分布是乘积测度」。两种说法可以互相代替：要验证独立，常用前者（检查矩形）；要计算，常用后者（用 Fubini 在乘积测度上积分）。

小结与自测

小结本页小结

无穷乘积测度：柱集概率 = 各坐标概率之积，这条规则唯一确定 $⨂ P_{i}$ （π-λ 定理 + Kolmogorov 扩张定理）。
独立 ⇔ 联合分布 = 边缘分布的乘积测度；由此可以构造 i.i.d. 序列（序列空间 + 坐标映射）。
「令 $n = \infty 」：$ 乘积 σ-代数由所有有限维柱集生成，比任何 $F_{n}$ 都大，包含收敛事件等尾事件。
非退化 i.i.d. 序列几乎必然不收敛；只有边缘分布退化成一个点时极限才存在。

自测

1. 掷一颗公平骰子无穷多次，求「前三次都是 6」的概率；它属于哪个 $F_{n} ？$

点开看答案

柱集 ${6} \times {6} \times {6} \times Ω \times \dots ，$ 概率 $(\frac{1}{6})^{3} = \frac{1}{216} 。$ 它属于 $F_{3}$ （因而也属于所有 $F_{n} ，$ $n \geq 3 ）。$

2. $X, Y$ 独立、都服从 ${0, 1}$ 上 $P (1) = 0.3$ 的伯努利分布。 $P (X = Y)$ 是多少？

点开看答案

$P (X = Y) = P (0, 0) + P (1, 1) = 0. 7^{2} + 0. 3^{2} = 0.58 ，$ 和公式 $\sum_{a} μ ({a})^{2}$ 一致。

3. 判断：若 $X_{1}, X_{2}, \dots$ i.i.d. 且 $P (X_{1} = 5) = 1 ，$ 则 $P (L) = 1 。$

点开看答案

正确。这是退化情形：几乎必然每个 $X_{i} = 5 ，$ 常数序列收敛到 5。

本页术语中英对照（按出现顺序）

中文	English	白话解释
乘积空间	product space	笛卡尔积 Ω₁ × Ω₂，配上乘积 σ-代数（以及乘积测度）。
柱集	cylinder set	只对有限个坐标提条件的集合，如 {ω₁ ∈ B₁, …, ωₙ ∈ Bₙ}，其余坐标任取。
联合分布	joint law (joint distribution)	随机向量 (X, Y) 在平面上的分布：对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
乘积测度	product measure	在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度（σ-有限时）。平面面积就是长度 × 长度的乘积测度。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
当且仅当	if and only if (iff)	「A 当且仅当 B」：A 成立就一定有 B，B 成立也一定有 A，两者同真同假，记作 A ⟺ B。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
乘积 σ-代数	product σ-algebra	由所有可测矩形生成的 σ-代数，记作 F₁ ⊗ F₂；它也是让两个坐标映射都可测的最小 σ-代数。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
σ-代数	sigma-algebra	允许谈概率的「事件清单」：含 Ω，对补集和可数并封闭。
多元正态分布	multivariate normal distribution	由均值向量 μ 和正定协方差矩阵 Σ 决定的高维钟形分布。对它而言，不相关等价于独立。
概率空间	probability space	三元组 (Ω, 𝓕, P)：样本空间、事件的 σ-代数、概率测度。
集合	set	把一些对象放在一起当成一个整体，例如 {1,2,3}。
概率测度	probability measure	总质量 P(Ω) = 1 的测度。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
生成的 σ-代数	generated sigma-algebra	包含给定集合族的最小 σ-代数 σ(𝒞)：只加入「被逼着加入」的集合。
边缘分布	marginal law	随机向量中单个坐标的分布，例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。
可数	countable	元素能排成第 1 个、第 2 个、第 3 个……的一列（有限也算），例如自然数、有理数。
π-λ 定理	Dynkin's π-λ theorem	π-系（对有限交封闭）包含于 λ-系时，它生成的 σ-代数也包含于该 λ-系。常用来证明「两个测度在生成元上相等就处处相等」。
博雷尔 σ-代数	Borel sigma-algebra	由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ)，包含所有常见的集合。
期望	expectation	随机变量对概率测度的积分 E[X] = ∫ X dP，也就是「加权平均」。
可积	integrable (L¹)	∫\|f\| dμ < ∞。全体可积函数记作 L¹(μ)。
尾事件	tail event	改动任意有限个坐标都不影响是否发生的事件，例如「序列 ω₁, ω₂, … 收敛」。
截口	slice (section)	固定一个坐标、把二维集合或函数「切一刀」：A_ω₁ = {ω₂ : (ω₁, ω₂) ∈ A}，f_ω₁(ω₂) = f(ω₁, ω₂)。
从下连续	continuity from below	集合一层层变大（Eₙ ↑ E）时，测度也跟着收敛：μ(Eₙ) → μ(E)。
Borel–Cantelli 引理	Borel–Cantelli lemma	概率之和有限 ⇒ 只发生有限次；独立且概率之和无穷 ⇒ 发生无穷多次。
无穷多次	infinitely often (i.o.)	「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
几乎必然收敛	almost sure convergence	除了概率为 0 的结局以外，Xₙ(ω) 都收敛到 X(ω)。
Kolmogorov 0-1 律	Kolmogorov's zero–one law	独立随机变量序列的尾事件（改动前面有限项不受影响的事件）概率只能是 0 或 1。
从上连续	continuity from above	集合一层层变小（Eₙ ↓ E）且 μ(E₁) < ∞ 时，μ(Eₙ) → μ(E)。
并集	union	至少属于其中一个集合的元素全体，A ∪ B 对应「A 或 B」。