这一页在讲什么
「独立」有三个层次:两个事件独立、两个随机变量独立、两个 σ-代数独立。三者说的都是同一条乘法规则:同时发生的概率 = 各自概率的乘积。要同时谈很多个(甚至无穷多个)对象的独立,需要把很多个空间乘在一起;在这个大空间里,只限制有限个坐标的集合叫柱集(cylinder set),它是下一页定义「无穷乘积测度」的砖块。
- 位置:第 3 部分「独立性」(第 16 页–第 21 页)的第一页。
- 和前面的关系:
- 本页的任务:
- 把独立的定义从事件推广到随机变量和 σ-代数;
- 提出问题「 个对象怎么办」;
- 为回答这个问题,引入无穷乘积空间里的柱集。
先补基础
- 随机变量 是可测函数(第 4 页):对每个博雷尔集 都在 里。
- 博雷尔集(Borel set):由所有区间经过可数次并、交、补得到的集合,例如 它们组成博雷尔 σ-代数
- 为什么要求 是博雷尔集: 只保证博雷尔集的原像是事件。对一个非博雷尔的怪集合 可能不在 里, 就没有定义。
- 记号 中的逗号表示「且」:
- 它是 σ-代数:原像保持集合运算,并且
- 含义: 是「只看 的值就能判断发生没有」的所有事件,可以理解成「 携带的信息」。
- 例:掷骰子, 是点数,知道 只能判断「偶数」「奇数」这两类事件;「掷出 6」不在 里,因为只知道 时分不清是 2、4 还是 6。
若 是 σ-代数,并且 就说 是 的子 σ-代数(sub-σ-algebra)。 就是一个子 σ-代数。σ-field 和 σ-algebra 是同一个意思(field 是「域」的旧称)。
- 下标集 (读作「大伽马」):任意一个用来编号的集合,可以是 甚至
- 乘积集合 每个元素 是「给每个下标 挑一个 时就是 第 6 页 的 时就是无穷序列
- 坐标映射(coordinate map,也叫投影)从整个序列里读出第 个坐标。
- 例:无穷次抛硬币, 是所有正反序列;
课件原文逐句精读
- Probability space is where is sample space, is set of events (the -algebra) and is the probability function.
- Two events and are independent if . Random variables and are independent if for all sets , we have , i.e., the events and are independent. Two -fields and are independent if and are independent whenever and .
- How to describe the independence over multiple events?
- Let , be a sequence of measurable spaces. Let be its product, a measurable set , let the set be chosen of the form , for some , the set is called a (product) cylinder set
蓝条标题:两个事件的独立。
- 概率空间是 其中 是样本空间, 是事件全体(σ-代数), 是概率函数。
- 两个事件 称为独立,如果 随机变量 和 称为独立,如果对所有集合 都有 也就是说事件 与 独立。两个 σ-代数 与 称为独立,如果只要 与 就独立。
- 多个( 个)事件的独立该怎样描述?
- 设 是一列可测空间, 是它们的乘积。取一个可测集 并让 取 的形式(这样的集合 称为(乘积)柱集。
Probability space|概率空间
- 第一句只是回顾记号。probability function(概率函数)就是概率测度
- 写 而不是 是给事件(集合)打分,不是给单个样本点打分。
Two events A and B are independent|两个事件、两个随机变量、两个 σ-代数的独立
- 事件:直觉是「知道 发生,不改变 的概率」: 时它等价于 (第 6 页 的「先补基础」)。
- 随机变量: 能决定的每个事件 都和 能决定的每个事件 独立。这是「无穷多条」乘法规则, 跑遍所有博雷尔集。
- σ-代数: 里的每个事件都和 里的每个事件独立。σ-代数代表「信息」,两个 σ-代数独立就是「两份信息互不相干」。
- 三者是层层推广的关系:随机变量的独立,就是 与 的独立(下一节命题 1);事件的独立,就是 与 的独立(命题 2)。
- 两处措辞需要改正:
- 「for all sets 应为「for all Borel sets 理由见「先补基础」:只有博雷尔集的原像才保证是事件。
- 「Two σ-fields and 里的 和第一句概率空间里的 撞了名字。这里应当是 的两个子 σ-代数,例如写成 与 (否则「 与 独立」会把整个 拿来和别的比,而 里包含 的每个事件 于是要求 只有 里的事件全是概率 0 或 1 才可能成立。
How to describe the independence over multiple n events?|n 个事件的独立怎么描述
课件把它作为一个问题抛出来,答案在下一节和 第 17 页、第 18 页。简要地说: 个事件要求任意有限个的交都满足乘法规则(第 6 页),而不只是两两满足。为了把「 个独立的试验」放进同一个概率空间里,要用 个(甚至无穷多个)空间的乘积,这就引出了最后一句话里的柱集。
Cylinder set|柱集
这一句话很长,拆开读:
- 先有一列可测空间 每个代表一次「小试验」。
- 把它们全部乘在一起,得到乘积可测空间
- 挑有限个下标 在这 个坐标组成的有限乘积 里取一个可测集 特别地取成矩形
- 「只要求这 个坐标落在 里,其余坐标随便」,这样得到的大空间里的集合叫柱集。
课件这句话里有几处记号不一致,按标准写法改正如下:
- 与 混用:课件先选了集合 结尾却说「the set is called a cylinder set」, 从没定义过(并且 刚在第二条里被用作博雷尔集)。正确的关系是: 是有限个坐标空间里的「底」,柱集是大空间里的
和 不在同一个空间里,不能混为一谈。
- 下标 与 混用:课件开头说下标是 接着又用一般的下标集 两种都可以,但要统一。用 时,应写 而不是
- 下一页(第 17 页)的课件取 这时柱集就是
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
三个层次的独立:正式定义
设 是概率空间。
- 事件 独立,如果
- 随机变量 独立,如果对所有博雷尔集
- 子 σ-代数 独立,如果对所有
与 独立,当且仅当 与 独立。
由「先补基础」, 的元素恰好是形如 ( 博雷尔)的事件, 的元素恰好是
- 「 独立」说的是:对所有
- 把 代入,这句话逐字变成定义第 2 条。
两句话说的是同一件事。
对事件 下面三条等价:(a) 独立;(b) 与 独立;(c) 随机变量 与 独立。
- 是什么: 只取 0、1 两个值,所以 只有四种可能: 两个值都不含时是 只含 1 时是 只含 0 时是 两个都含时是
- (b)⇔(c):命题 1。
- (b)⇒(a):取 即可。
- (a)⇒(b):要验证 4×4=16 对事件。含 的对两边都是 0;含 的对两边相等(例如 剩下 与 与 与 与 第一对就是 (a)。第二对:
第一个等号是因为 被分成不相交的 与 第三、四对用同样的减法(第 6 页 的命题 A)。
若 独立, 是博雷尔可测函数,则 与 独立。
对博雷尔集 其中 是博雷尔集( 可测)。于是
最后一步用 独立;右边就是
例: 独立,则 与 独立, 与 独立。
How to describe the independence over multiple n events?|对问题的回答
- 事件 相互独立,如果对每个至少含两个元素的子集
- 子 σ-代数 相互独立,如果对所有
- 第 1 条与 第 6 页 的定义 3 一致: 个事件要查 个等式;只查两两不够(第 18 页 的例子)。
- 第 2 条为什么只写一个等式就够了?因为每个 都含有 想检查某个子集 上的乘法规则,只要对 取 交集里多出来的 不改变交集,乘积里多出来的 不改变乘积。所以子集上的等式被「全部 个」的等式自动包含。
- 随机变量 相互独立,就定义为 相互独立。第 18 页 会写成课件的形式,并推广到任意多个。
为什么要引入乘积空间:要讨论「 次独立的试验」,必须先有一个概率空间,让 个结果同时住在里面。自然的选择是乘积 一个样本点就是「 次试验的结果清单」。若要讨论无穷多次试验(例如第 3 讲的无穷次抛硬币、样本均值的极限),就要无穷乘积 在无穷乘积里,最容易计算概率的集合就是只涉及有限个坐标的柱集。
Cylinder set|柱集:改正后的定义
设 是一族可测空间,
- 取有限个互不相同的下标 和一个可测集 集合
称为以 为底(base)的柱集。2. 若底是矩形 (即
则称 为乘积柱集(product cylinder set)。3. 乘积 σ-代数 定义为由所有乘积柱集生成的 σ-代数。它也是使所有坐标映射 都可测的最小 σ-代数。
逐条理解:
- 「有限个」是关键:柱集只对有限个坐标提要求,其余无穷多个坐标完全自由。
- 的情形:乘积柱集就是
- 为什么叫「柱」:在三维空间 里,取底 为平面上的单位圆盘,柱集 就是一根沿 方向无限延伸的圆柱:底决定截面形状,第三个坐标随便取。无穷乘积里的柱集是同样的样子,只是「随便取」的方向有无穷多个。
- 和 第 6 页 的关系:两个空间时(乘积柱集就是可测矩形 乘积 σ-代数就是 所以这是 第 6 页 的直接推广。
- 最后一句「也是使所有坐标映射可测的最小 σ-代数」:乘积柱集 是有限个「坐标原像」的交;反过来每个坐标原像 本身就是只限制一个坐标的乘积柱集。两族集合生成同一个 σ-代数,这和 第 6 页 的「是同一个论证。
两个乘积柱集的交仍是乘积柱集。用 第 8 页 的术语:乘积柱集全体是一个 π 系。
设 是有限下标集。把两者都看成限制 上的坐标:对 令 对 令 (「不限制」就是「落在全空间里」)。于是
仍是有限集,每个 所以 是乘积柱集。
这条性质 第 17 页 马上要用:两个概率测度只要在乘积柱集上相等,就在整个乘积 σ-代数上相等(π 系唯一性定理,第 8 页)。
例子
36 个结局等可能。令
- (第一颗 3 种 × 第二颗 6 种)。
- 由 6 个结果组成:所以
- 独立。
直觉:不管第一颗掷出几,第二颗都恰好有一个点数能凑成 7,所以知道第一颗的奇偶不改变「和为 7」的概率。
对照(不独立):把 换成 而 不相等。原因:第一颗掷出 1 时无论如何凑不出 8,知道第一颗的点数会改变「和为 8」的概率。
令
- 独立:对任意 有 个结局( 表示 的元素个数),所以
对一般的博雷尔集 只有 起作用,结论相同。
- 不独立:取 (第一颗是 1 时和最多是 7),而 只要找到一对不满足乘法规则的 就足以说明不独立。
- σ-代数的语言:(只看第一颗能判断的事件,共 个,都是「竖条」); 由「横条」 组成。竖条与横条的交是矩形 概率 正是乘积。这就是「乘积测度 ⇒ 坐标独立」的最小例子。
每次公平且相互独立(这样的 存在,见 第 17 页)。
- 乘积柱集:「第 1 次正面且第 3 次反面」下标 底是 概率
- 柱集但底不是矩形:「前两次结果相同」底 不是矩形,但它是两个矩形的不交并,概率
- 不是柱集:「每一次都是正面」 限制了无穷多个坐标,不是柱集。但它是可数个柱集的交,所以在乘积 σ-代数里。它包含于每个 所以概率 对所有 成立,只能是
常见疑问与易错点
答:不一样,几乎相反。概率都为正的两个互斥事件一定不独立,因为 (第 6 页 的易错点)。例 3 的 不独立,用的正是两个互斥的事件
答:不是,它取决于概率测度 同一对坐标映射 在乘积测度 下独立(例 3 的 在「集中在对角线上」的测度下( 的分布)就不独立。乘积测度正是让坐标独立的那个测度,这是 第 17 页 的主题。
小结与自测
- 事件独立:随机变量独立:对所有博雷尔集 与 独立;σ-代数独立:其中任意两个事件独立。
- 三者一脉相承: 独立 ⇔ 独立; 独立 ⇔ 独立。独立随机变量的函数仍独立。
- 个事件要求任意子族满足乘法规则; 个 σ-代数只需写一个等式,因为可以取
- 柱集:在无穷乘积 里只限制有限个坐标的集合 乘积柱集生成乘积 σ-代数,并且对交封闭。
- 课件笔误:柱集的底 与柱集 混用;「all sets 应为博雷尔集;与 比较的应是子 σ-代数,不是整个
1. 掷两颗骰子, 独立吗?
点开看答案
独立。
2. 写出 若 与自己独立吗?
点开看答案
与自己独立要求 即 不成立,所以不独立。只有 时事件才与自己独立。
3. 在 中,把「第 2 次和第 5 次都是正面」写成乘积柱集的形式,指出它的底,并求公平独立抛掷下的概率。
点开看答案
即 下标 底是 概率
| 中文 | English | 白话解释 |
|---|---|---|
| 独立 | independence | 任意有限个事件同时发生的概率等于各自概率的乘积。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| σ-代数 | sigma-algebra | 允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 柱集 | cylinder set | 只对有限个坐标提条件的集合,如 {ω₁ ∈ B₁, …, ωₙ ∈ Bₙ},其余坐标任取。 |
| 乘积测度 | product measure | 在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度(σ-有限时)。平面面积就是长度 × 长度的乘积测度。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 联合分布 | joint law (joint distribution) | 随机向量 (X, Y) 在平面上的分布:对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。 |
| 边缘分布 | marginal law | 随机向量中单个坐标的分布,例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 乘积空间 | product space | 笛卡尔积 Ω₁ × Ω₂,配上乘积 σ-代数(以及乘积测度)。 |
| 样本空间 | sample space | 一次试验所有可能的完整结局组成的集合,记作 Ω。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 可数可加性 | countable additivity | 两两不交的可数个集合,并集的测度等于各自测度之和。 |
| 子集 | subset | A 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 原像 | preimage | f⁻¹(B) 是「所有被 f 送进 B 的输入」组成的集合,可测性就是用原像定义的。 |
| 元素 | element | 集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 可测空间 | measurable space | 一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。 |
| 可测集 | measurable set | σ-代数里的集合,也就是可以谈「测度多大」的集合;在概率空间里,可测集就叫事件。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 乘积 σ-代数 | product σ-algebra | 由所有可测矩形生成的 σ-代数,记作 F₁ ⊗ F₂;它也是让两个坐标映射都可测的最小 σ-代数。 |
| 生成的 σ-代数 | generated sigma-algebra | 包含给定集合族的最小 σ-代数 σ(𝒞):只加入「被逼着加入」的集合。 |
| 可测矩形 | measurable rectangle | 形如 A₁ × A₂ 的集合,A₁、A₂ 分别是两个空间里的可测集。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 勒贝格测度 | Lebesgue measure | 实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。 |