05 为什么要构造乘积空间：独立同分布从哪里来 · 第4讲

这一页在讲什么

人话版一句话版

大数定律、中心极限定理这些核心定理，都假设随机变量独立同分布。可是「独立」要在数学上说清楚，先得有一个能同时容纳这些随机变量的概率空间。办法是：把两个概率空间做成乘积空间 $Ω_{1} \times Ω_{2} ，$ 在上面放乘积概率测度 $P_{1} \times P_{2} ；$ 再推广到无穷多个，就能造出一整列独立的随机变量。

位置：第 1 部分的第二页，说明本讲的动机和路线。上一页（第 4 页）已经看到：边缘分布决定不了联合分布，所以「独立」必须作为联合分布的一个性质来规定。
路线：乘积 σ-代数（第 6 页）→ 乘积测度（第 7 页）→ 截口与积分（第 8 页）→ Fubini–Tonelli（第 2 部分）→ 独立性（第 3 部分，第 17 页说明独立 ⇔ 乘积测度）。

先补基础

基础补课独立同分布（i.i.d.）

同分布（identically distributed）：每个 $X_{i}$ 的分布都一样，例如都是「公平骰子的点数」。
独立（independent）：知道其中一些的取值，不改变另一些的概率。中学定义是 $P (A \cap B) = P (A) P (B)$ （第 3 讲第 6 页已推广到多个事件）。
两者合起来简写为 i.i.d.（independent and identically distributed）。典型例子：反复独立地掷同一颗骰子。

基础补课大数定律与中心极限定理（先有个印象）

设 $X_{1}, X_{2}, \dots$ i.i.d.，均值 $μ 、$ 方差 $σ^{2} ，$ 样本平均 $\overset{ˉ}{X}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} 。$

大数定律： $\overset{ˉ}{X}_{n} \to μ 。$ 样本越多，平均值越接近真实均值（第 3 讲第 37 页已经用 Chebyshev 证明了一个弱的版本）。
中心极限定理： $\overset{ˉ}{X}_{n} - μ$ 的波动大约是 $\frac{σ}{n}$ 的量级，而且形状接近正态分布。两个定理都要求「独立」，后面的课会证明它们。

基础补课无穷乘积空间

$Ω_{1} \times Ω_{2} \times \dots$ 的元素是无穷序列 $(ω_{1}, ω_{2}, ω_{3}, \dots) ，$ 第 $i$ 个位置取自 $Ω_{i} 。$ 例：无穷次抛硬币， $Ω_{i} = {正, 反} ，$ 一个元素就是一条无限长的正反序列（第 1 讲第 7 页的例子就是这个空间）。

课件原文逐句精读

课件原文Introduction

Why we need to introduce "independent" random variables?
The process of collecting samples should be representative fairness of the samples. We can fairly draw samples from the sample space.
In many probability theorems, law of large numbers, central limit theorem... (we will see them later), we always assume random variables are independently and identically distributed.
How we mathematically say independence?
Before we introduce and study independent random variables, we need some further background in measure theory. More specifically, given two probability spaces $(Ω_{1}, F_{1}, P_{1})$ and $(Ω_{2}, F_{2}, P_{2})$ , we will construct a product probability measure $P_{1} \times P_{2}$ on the product space $Ω_{1} \times Ω_{2}$ . We will then extend this construction to an infinite product space $Ω_{1} \times Ω_{2} \times \dots$ , which will allow us to construct an infinite sequence of independent random variables.

中文翻译

蓝条标题：引言。

为什么要引入「独立」的随机变量？
收集样本的过程应当保证样本有代表性、公平。我们要能从样本空间里公平地抽取样本。
很多概率定理，比如大数定律、中心极限定理……（后面会学到），总是假设随机变量独立同分布。
在数学上怎样表达独立？
在引入和研究独立随机变量之前，需要再补一些测度论的背景。具体说：给定两个概率空间 $(Ω_{1}, F_{1}, P_{1})$ 和 $(Ω_{2}, F_{2}, P_{2}) ，$ 我们要在乘积空间 $Ω_{1} \times Ω_{2}$ 上构造乘积概率测度 $P_{1} \times P_{2} 。$ 然后把这个构造推广到无穷乘积空间 $Ω_{1} \times Ω_{2} \times \dots ，$ 这样就能构造出一列无穷多个独立的随机变量。

第 1、2 条：为什么需要独立

课件这句英文不太通顺（should be representative fairness of the samples），意思是：抽样过程要保证样本有代表性、是公平抽取的。
「公平」包含两层意思：每次抽取的规则一样（同分布）；这一次抽到什么不影响下一次（独立）。例：民意调查如果专挑同一个小区的人问，后面的回答会受前面的影响，样本就不独立，也不具代表性。

第 3 条：i.i.d. 是大定理的前提

大数定律、中心极限定理是统计和模拟的理论基础：第 3 讲的蒙特卡罗估计（第 37 页）之所以靠得住，就是因为样本 i.i.d.，平均值才会收敛到真值、误差才是 $\frac{σ}{n} 。$

第 4 条：数学上怎样说「独立」

中学的 $P (A \cap B) = P (A) P (B)$ 要求两个事件在同一个概率空间里。如果 $X_{1}$ 生活在 $(Ω_{1}, F_{1}, P_{1}) 、$ $X_{2}$ 生活在 $(Ω_{2}, F_{2}, P_{2}) ，$ 「 $X_{1} \in A$ 且 $X_{2} \in B 」$ 这个事件该在哪个空间里谈？必须先把两个空间合成一个。

第 5 条：路线图

两步：先合并两个空间（乘积空间 + 乘积测度），再合并无穷多个（无穷乘积空间）。第二步得到的空间里，可以放下一整列独立的 $X_{1}, X_{2}, X_{3}, \dots 。$

坐标映射：怎样用乘积空间造出独立的随机变量

这一页没有留白，但它的核心想法值得提前写清楚，后面会反复用到。

设乘积测度 $P = P_{1} \times P_{2}$ 已经造好，它满足（第 7 页）

P (A_{1} \times A_{2}) = P_{1} (A_{1}) P_{2} (A_{2}) (A_{1} \in F_{1}, A_{2} \in F_{2}) .

在 $Ω_{1} \times Ω_{2}$ 上定义两个坐标映射：

X_{1} (ω_{1}, ω_{2}) = ω_{1}, X_{2} (ω_{1}, ω_{2}) = ω_{2} .

它们就是「读出第一个坐标」「读出第二个坐标」。

$X_{1}$ 的分布是 $P_{1}$ ： ${X_{1} \in A_{1}} = A_{1} \times Ω_{2} ，$ 所以 $P (X_{1} \in A_{1}) = P_{1} (A_{1}) P_{2} (Ω_{2}) = P_{1} (A_{1}) \cdot 1 = P_{1} (A_{1}) 。$ 同样， ${X_{2} \in A_{2}} = Ω_{1} \times A_{2} ，$ 所以 $P (X_{2} \in A_{2}) = P_{1} (Ω_{1}) P_{2} (A_{2}) = P_{2} (A_{2}) ，$ $X_{2}$ 的分布是 $P_{2} 。$
$X_{1}$ 与 $X_{2}$ 独立： ${X_{1} \in A_{1}, X_{2} \in A_{2}} = A_{1} \times A_{2} ，$ 所以

P (X_{1} \in A_{1}, X_{2} \in A_{2}) = P_{1} (A_{1}) P_{2} (A_{2}) = P (X_{1} \in A_{1}) P (X_{2} \in A_{2}) .

这就是「构造独立随机变量」的标准做法：乘积空间 + 乘积测度 + 坐标映射。无穷多个时完全一样，只是空间换成无穷序列，第 $i$ 个坐标映射读出第 $i$ 个位置。

例子

例 1：两次抛硬币的乘积空间

$Ω_{1} = Ω_{2} = {正, 反} ，$ $P_{1} = P_{2}$ 给正、反各 $\frac{1}{2} 。$ 乘积空间有 4 个点：

(正, 正), (正, 反), (反, 正), (反, 反),

乘积测度给每个点 $\frac{1}{2} \times \frac{1}{2} = \frac{1}{4} 。$ 坐标映射 $X_{1}$ 读第一次的结果、 $X_{2}$ 读第二次的结果。验证独立： $P (X_{1} = 正, X_{2} = 正) = \frac{1}{4} = \frac{1}{2} \times \frac{1}{2} 。$

例 2：不放回抽样不独立

袋中 1 红 1 蓝，抽两次。

放回：第二次抽之前把球放回。两次「抽到红」的概率都是 $\frac{1}{2} ，$ 「两次都红」的概率是 $\frac{1}{4} = \frac{1}{2} \times \frac{1}{2} ，$ 独立。联合分布就是乘积测度。
不放回：第一次抽到红，第二次一定是蓝。「两次都红」的概率是 $0 \neq = \frac{1}{4} ，$ 不独立。两次的边缘分布仍然都是「红、蓝各 $\frac{1}{2} 」，$ 但联合分布不是乘积测度，和第 4 页的情形一样。

例 3：为什么需要无穷乘积空间

大数定律说的是 $\overset{ˉ}{X}_{n} \to μ ，$ 这是关于整列 $X_{1}, X_{2}, \dots$ 的命题。例如掷骰子：「样本平均最终收敛到 3.5」这个事件，取决于所有无穷多次的结果。只有 $n$ 次投掷的有限乘积空间 ${1, \dots, 6}^{n}$ 装不下这个事件，必须用无穷序列空间 ${1, \dots, 6} \times {1, \dots, 6} \times \dots 。$ 数值感受： $n = 100$ 时 $\overset{ˉ}{X}_{n}$ 的标准差约为 $35/12 /10 \approx 0.17 ，$ $n = 10000$ 时约为 $0.017 。$

常见疑问与易错点

易错点问：独立是现实世界的事实，还是数学假设？

答：在数学里，独立是对联合分布的一个要求。建模时我们判断「这些试验互不影响」，于是选择一个让它们独立的概率空间。乘积空间的作用是保证这样的空间确实存在；否则「设 $X_{1}, X_{2}, \dots$ i.i.d.」可能是在谈一个不存在的对象。

易错点问：乘积测度和「独立」是什么关系？

答：同一件事的两种说法。坐标映射在乘积测度下独立（上面的推导）；反过来，任何两个独立的随机变量，它们的联合分布都是各自分布的乘积测度（第 17 页）。

易错点问：为什么要先学测度论，不能直接定义独立吗？

答：两个事件的独立可以直接定义；但「 $X$ 与 $Y$ 独立」要求对所有可测集 $C, D$ 都有 $P (X \in C, Y \in D) = P (X \in C) P (Y \in D) ，$ 涉及无穷多个集合。要证明满足这个要求的概率存在、并且由矩形上的值唯一确定，就需要乘积 σ-代数和乘积测度定理（第 6 页、第 7 页）。

小结与自测

小结本页小结

大数定律、中心极限定理都假设 i.i.d.；「公平抽样」= 同分布 + 独立。
要谈独立，先要有一个同时容纳所有随机变量的概率空间：乘积空间 + 乘积测度 $P_{1} \times P_{2} 。$
坐标映射在乘积测度下是独立的，分布分别是 $P_{1} 、$ $P_{2} ；$ 推广到无穷乘积空间，就得到 i.i.d. 序列。

自测

1. 在两次抛硬币的乘积空间里，事件「第一次正面」对应哪个集合？它的概率是多少？

点开看答案

${正} \times {正, 反} = {(正, 正), (正, 反)} ，$ 概率 $\frac{1}{4} + \frac{1}{4} = \frac{1}{2} = P_{1} ({正}) P_{2} (Ω_{2}) 。$

2. 从 52 张扑克牌中不放回地抽两张，「第一张是 A」与「第二张是 A」独立吗？

点开看答案

不独立。 $P (第一张 A) = P (第二张 A) = \frac{4}{52} ，$ 但 $P (两张都 A) = \frac{4}{52} \times \frac{3}{51} \neq = (\frac{4}{52})^{2} 。$

3. 为什么说「设 $X_{1}, X_{2}, \dots$ i.i.d.」需要无穷乘积空间？

点开看答案

因为要在同一个概率空间上同时定义无穷多个随机变量，并让任意有限个都独立。无穷乘积空间加上坐标映射正好做到这一点；有限乘积空间只能放下有限个。

本页术语中英对照（按出现顺序）

中文	English	白话解释
中心极限定理	central limit theorem (CLT)	独立同分布、方差 σ² 有限时，(Sₙ − nμ)/(σ√n) 依分布收敛到标准正态分布：大量独立小误差之和近似正态。
随机变量	random variable	从样本空间到实数的（可测）函数，把结局翻译成数字；随机性来自「实现了哪个 ω」。
独立同分布	independent and identically distributed (i.i.d.)	一列随机变量相互独立，并且分布都相同，例如反复独立地掷同一颗骰子。
概率空间	probability space	三元组 (Ω, 𝓕, P)：样本空间、事件的 σ-代数、概率测度。
独立	independence	任意有限个事件同时发生的概率等于各自概率的乘积。
乘积空间	product space	笛卡尔积 Ω₁ × Ω₂，配上乘积 σ-代数（以及乘积测度）。
乘积测度	product measure	在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度（σ-有限时）。平面面积就是长度 × 长度的乘积测度。
联合分布	joint law (joint distribution)	随机向量 (X, Y) 在平面上的分布：对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
边缘分布	marginal law	随机向量中单个坐标的分布，例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。
分布	law / distribution	X 把概率「推」到取值空间上得到的测度：L(X)(B) = P(X ∈ B)。
乘积 σ-代数	product σ-algebra	由所有可测矩形生成的 σ-代数，记作 F₁ ⊗ F₂；它也是让两个坐标映射都可测的最小 σ-代数。
测度	measure	给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」，空集为 0，并且可数可加。
截口	slice (section)	固定一个坐标、把二维集合或函数「切一刀」：A_ω₁ = {ω₂ : (ω₁, ω₂) ∈ A}，f_ω₁(ω₂) = f(ω₁, ω₂)。
事件	event	样本空间的（允许谈概率的）子集；实现的 ω 落在里面，就说事件发生。
方差	variance	Var X = E[(X − E X)²]，衡量随机变量围绕均值的波动大小。
元素	element	集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
样本空间	sample space	一次试验所有可能的完整结局组成的集合，记作 Ω。
概率测度	probability measure	总质量 P(Ω) = 1 的测度。
函数	function / map	f: A → B 给 A 中每个元素指定 B 中唯一一个元素。
无穷多次	infinitely often (i.o.)	「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
可测集	measurable set	σ-代数里的集合，也就是可以谈「测度多大」的集合；在概率空间里，可测集就叫事件。
σ-代数	sigma-algebra	允许谈概率的「事件清单」：含 Ω，对补集和可数并封闭。
集合	set	把一些对象放在一起当成一个整体，例如 {1,2,3}。