高等概率论逐页精讲

第 1 讲 测度与积分›第 1 部分 概率空间与可测事件

PDF 第 9 / 47 页幻灯片 8/42定义

σ-代数:对可数次「或、且、非」封闭的事件族

A sigma-algebra is closed under countable event logic

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

σ-代数就是一个「合格的事件族」: 在里面;一个事件在里面,它的反面也在里面;可数多个事件在里面,「至少一个发生」也在里面。于是对事件做可数次「或、且、非」,结果都跑不出这个事件族。

第 6 页 定义事件时留了一个空位:「先固定一个可接受的事件族 但没说 要满足什么。这一页把空位填上: 必须是一个 σ-代数(sigma-algebra)。

为什么是这三条规则?看前两页的需要:

  • 第 7 页 里「至少一次正面」「无穷多次正面」都是用可数次并、交、补搭出来的。如果事件族对这些运算不封闭,这些最自然的事件就「不算事件」了。
  • 第 8 页 的可数可加性要算 那么 必须是事件,否则左边没有定义。

有了 σ-代数,概率 的定义域就精确了(课件小标题 The event domain is now precise)。下一页 第 10 页 讨论「为什么不总取全部子集 第 11 页 讲怎么从几个集合出发「生成」σ-代数。本页属于第 1 部分「概率空间与可测事件」。

先补基础

基础补课什么叫「对某种运算封闭」
  • 一个集合对某种运算封闭(closed under),意思是:拿集合里的东西做这种运算,结果还在集合里,不会跑出去。
  • 例:全体整数对加法封闭(整数加整数还是整数);对除法不封闭( 不是整数)。
  • 例:全体正数对乘法封闭,对减法不封闭( 不是正数)。
  • 本页说「事件族对补集封闭」,就是: 在事件族里, 也一定在里面。
基础补课本页用到的记号
  • 是 的全部子集组成的族(第 6 页),所以这句话的意思是「 由 的一些子集组成」。
  • 一列集合 老师写的 是一种简写,意思是「这一列里每一个 都属于
  • 在板书里写成 (希腊字母 phi),手写时常这样代替空集符号,意思一样。
  • 「σ」(读作「西格玛」)这个前缀在测度论里表示「可数次」:σ-代数就是「对可数次运算封闭的代数」。
  • 可数版德摩根律(第 7 页 证明过):

课件原文逐句精读

课件原文Definition 3 (Sigma-algebra)

Definition 3 (Sigma-algebra) A family is a sigma-algebra if

① , ② then , ③ then .

The event domain is now precise...

(说明:印刷部分只有「A family is a sigma-algebra if」和粗体的 The event domain is now precise...;三条条件 ①②③ 是老师当堂手写的。)

中文翻译

定义 3(σ-代数) 一个集合族 称为 σ-代数,如果

① ② 若 则 ③ 若 都属于 则

现在,事件的定义域精确了……

「A family ℱ ⊆ 2^Ω」|先要是一族子集

老师把 圈了出来: 是从「全部子集」里挑出来的一部分,可以挑得多(整个 也可以挑得少(例如只有 和 σ-代数的三条规则,规定的是「挑出来的这部分必须自洽」。

条件 ① Ω ∈ ℱ|必然事件是事件

  • 意思:「总会发生」这个事件必须在族里。
  • 为什么需要:第 8 页 的规范性 要求 有定义,所以 必须是事件。
  • 去掉会怎样:空族 (一个集合都没有)也满足 ②③(没有东西可以取补、取并),但它连 都没有,没法谈概率。条件 ① 保证族里至少有东西。

条件 ② A ∈ ℱ ⇒ Aᶜ ∈ ℱ|能问「发生」,就能问「不发生」

  • 意思:对补集封闭。在事件的语言里: 是事件,「 不发生」也是事件(第 6 页:非 ↔ 补)。
  • 为什么需要:如果能问「明天下雨的概率」,却不能问「明天不下雨的概率」,这个模型就很怪。有了它,才能用 (第 8 页)。
  • 去掉会怎样:(取 满足 ① 和 ③,却没有 能问「点数是 1 吗」,却不能问「点数不是 1 吗」。

条件 ③ 可数并封闭|可数多个事件的「或」还是事件

  • 意思: 都是事件,那么「至少一个发生」 也是事件(第 7 页:并 ↔ 或 ↔ 存在)。
  • 为什么是「可数」:第 7 页 的「至少一次正面」「无穷多次正面」 都要用到无穷多个事件;第 8 页 的可数可加性也要求 是事件。只对有限并封闭不够用(见例 3)。
  • 为什么不是「任意多个」:可数可加性只管可数多块(第 8 页 的 例子),事件族也只需对可数并封闭。要求对任意并封闭,会逼着 变得太大(见「常见疑问」)。
定义 3(σ-代数)

设 是样本空间, 是由 的一些子集组成的族。如果

  1. 对每个 都有 (对补集封闭);
  2. 对每一列 都有 (对可数并封闭),

就称 是 上的一个 σ-代数。有序对 称为可测空间(measurable space), 中的集合称为可测集,在概率里就是事件。

三条规则推出的「免费赠品」(证明见下面的推导一节):

结论 语言 用到的规则
不可能事件是事件 ①②
有限个「或」 ③ 加上
可数多个「且」 ②③ 加德摩根律
有限个「且」、「A 但非 B」 上一行
无穷多次发生、最终一直发生 ③ 与可数交

这就是标题说的「对可数次的事件逻辑封闭」(closed under countable event logic):「或、且、非」任意组合、做可数多次,结果都还是事件。

The event domain is now precise...|事件的定义域现在精确了

这是课件的粗体小标题。「定义域」(domain)指函数能接受的输入的范围。概率 的输入是事件,所以它的定义域就是事件族 以前 只是「某个可接受的族」,现在我们精确地知道它必须是 σ-代数。老师在下面补了一句: assigns weights to admissible events in (给 里的可接受事件分配重量),见下一节。

老师板书在说什么

老师板书板书转写(按从上到下的顺序)
  1. (印刷的 被蓝笔圈出)
  2. ① ② then ③ then .
  3. example 
  4.  σ-algebra.
  5. (粗体 The event domain is now precise... 下面) assigns weights to admissible events in .(to 前面有一个划掉的字母)
  6. can distinct ,
  7. distinct HH, HT

第 2 行:三条规则

就是上面讲过的定义 3。老师把印刷课件留空的地方手写补全了。

第 3–5 行:一个最小的非平凡 σ-代数

  • 第 3 行又把 TH 写成了 HT(和 第 8 页 同样的笔误),应为
  • 是「第 1 次正面」(第 6 页), 是「第 1 次反面」。
  • 老师断言 是 σ-代数。我们逐条验证:

验证 ①: 就在 里。

验证 ②:四个成员的补集是 全都在 里。

验证 ③: 只有 4 个成员,所以从 里取出的任何一列 其实只是这 4 个集合的某种重复;重复并不改变并集(所以只要检查「从 4 个里挑出若干个取并」的结果:

表里每一格都还是 的成员;三个、四个一起并,也只是把表里的结果再并一次,依然在 里。三条都满足,所以 是 σ-代数。

第 6 行:概率是定义在 ℱ 上的函数

老师写的「省掉了函数名,完整写法是 输入 里的一个事件,输出 里的一个数,也就是给每个可接受的事件分配一个重量。这就是「定义域现在精确了」的具体含义: 的定义域是 σ-代数 例如在第 5 行的 上,公平硬币对应 而 没有定义,因为

第 7–8 行:σ-代数代表「能分辨什么」

这两行的 distinct 应为 distinguish(分辨、区分),是手误。意思是:

  • 能分辨 和 :你能判断「第 1 次是正面还是反面」。
  • 但它分辨不了 HH 和 HT: 的每个成员要么同时包含 HH 和 HT(要么同时不包含(无论实现的是 HH 还是 HT, 里「发生了的事件」完全一样,所以这个族看不出两者的差别。
  • 能分辨 HH 和 HT:实现 HH 时它发生,实现 HT 时它不发生。

直观地说: 越大,能回答的问题越多,信息越多。 就是「只看了第 1 次硬币」的人所掌握的信息; 是「两次都看了」的人的信息。这个观点在 第 10 页 和后面讲条件期望时非常重要。

例子

例 1:Ω = {1, 2, 3} 上的几个 σ-代数
  1. 平凡 σ-代数。验证:①成立; 与 互为补集;任何并都是 或 它什么都分辨不了(「没有信息」)。
  2. 和板书同样的结构(一个集合、它的补集,再加 能分辨「是不是 1」,分辨不了 2 和 3。
  3. 全部 个子集。任何子集的补集、任何一些子集的并还是子集,所以它是 σ-代数,能分辨所有点。
例 2(反例):只对补集封闭不够

取

  • ①:成立。
  • ②:都在,成立。
  • ③:不在 里。失败。

所以 不是 σ-代数。事件语言:能问「是 1 吗」「是 2 吗」,却不能问「是 1 或 2 吗」,不自洽。要修好它,必须把 (以及它的补集 加进去,结果就成了

例 3(反例):对有限并封闭,但对可数并不封闭

取 令

  • ①: 是有限集,所以
  • ②:「 有限或 有限」对 和 是对称的说法,所以 时
  • 有限并:两个有限集的并是有限集;若其中一个(比如 的补集有限,那么 也有限。所以 对有限并封闭。
  • 可数并: 每个都是有限集,都在 里;但它们的并是全体偶数 它是无限集,补集(全体奇数)也是无限集,所以不在 里。条件 ③ 失败。

这种只对有限运算封闭的族叫「代数」(algebra)。它连「抽到偶数」都不当事件,更别说 第 7 页 的「无穷多次正面」。σ 的那个「可数」不是装饰,它是必需的。

例 4:只看第一次硬币的人的 σ-代数(无穷次抛币)

在 第 7 页 的 上,令 和板书第 5 行一样的验证可知它是 σ-代数。它表示「只知道第 1 次结果」的信息:事件「第 2 次是正面」 不在 里,因为只看了第 1 次的人无法判断它。

推导:一步一步来

推导证明思路

所有「免费赠品」都只用 ①②③ 三条规则。技巧有两个:用「补空集」 把有限并凑成可数并;用德摩根律把「交」改写成「补—并—补」。

结论 1:

由 ①,由 ②,它的补集

结论 2(有限并):若 则

  1. 构造一列:
  2. 由结论 1,这一列的每个成员都在 里。
  3. 由 ③,而并上一堆空集不改变结果,所以

结论 3(可数交):若 则

所以 语言:「每个 都发生」=「并非(有某个 不发生)」。

结论 4(有限交、差集):若 则

  • 在结论 3 里取 (交上 不改变结果)。
  • 由 ② 再用有限交。

结论 5(上极限、下极限):若 则

  1. 固定 都在 里,由 ③,
  2. 对 得到一列 由结论 3,
  3. 同理,(结论 3),再对 取并(③),得

所以 第 7 页 的「无穷多次正面」「只有有限次正面」在任何包含所有 的 σ-代数里都是合法事件,可以谈它们的概率。

常见疑问与易错点

易错点问:σ-代数的成员是样本点还是集合?

答:是集合。 是样本点; 是一个集合,它可能属于 也可能不属于(板书第 5 行的 里就没有它)。写「是层次错误(第 6 页 的「三层,一层装一层」)。

易错点问:定义里只要求「并」封闭,不要求「交」封闭,是不是漏了?

答:没漏。有了补集封闭,「交」可以用德摩根律写成「补—并—补」(结论 3),自动封闭。定义只写最少的条件,其余的都是推论。同理,也可以把 ③ 换成「对可数交封闭」,得到的是同一个概念。

易错点问:为什么不要求对「任意多个」(包括不可数多个)集合的并封闭?

答:一是没必要:概率只对可数多块相加(第 8 页)。二是会让 大得过头:比如在 上,只要每个单点 都是事件,而 又对任意并封闭,那么任何子集 都成了事件, 被迫等于 而 第 21 页 会证明,在 上无法定义合理的「长度」。

易错点问:σ-代数是不是越大越好?

答:不一定。越大,能分辨的事越多(板书第 7–8 行);但也越难在上面定义一个满足可数可加性的概率。 上取 就太大了(第 10 页、第 21 页)。选 σ-代数,是在「能问的问题多」与「能自洽地给出答案」之间取舍。

小结与自测

小结本页小结
  • σ-代数 的三条规则:① ② 对补集封闭;③ 对可数并封闭。
  • 推论:对有限并、可数交、有限交、差集、上下极限都封闭——对可数次「或、且、非」封闭。
  • 「可数」必不可少:只对有限并封闭的族(例 3)连「偶数」都不当事件。
  • 概率 的定义域就是 σ-代数 不在 里的集合没有概率。
  • σ-代数代表「信息」: 只能分辨 与 能分辨每个结局。
自测

1. 是 σ-代数吗?它能分辨 1 和 2 吗?能分辨 1 和 3 吗?

点开看答案

是。①②都在;③任意几个成员的并只可能是 之一。它不能分辨 1 和 2(每个成员要么两个都含,要么都不含),能分辨 1 和 3( 含 1 不含 3)。

2. 是 σ-代数吗?如果不是,缺了什么?

点开看答案

不是。 不在 里,违反 ②;而且 也不在,违反 ③。要补成 σ-代数,至少要加入 结果就是

3. 只用 ①②③ 三条规则,证明:若 则

点开看答案

由 ②,由 ③(取 其余为 而 由 ①② 得到),再由 ②,由德摩根律,所以

本页术语中英对照(按出现顺序)
中文English白话解释
σ-代数sigma-algebra允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
可数可加性countable additivity两两不交的可数个集合,并集的测度等于各自测度之和。
子集subsetA 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
德摩根律De Morgan's laws「并的补 = 补的交」「交的补 = 补的并」,把「非(A 或 B)」变成「非 A 且非 B」。
集合族family of sets元素本身都是集合的集合,例如事件族 𝓕。
样本空间sample space一次试验所有可能的完整结局组成的集合,记作 Ω。
可测空间measurable space一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。
可测集measurable setσ-代数里的集合,也就是可以谈「测度多大」的集合;在概率空间里,可测集就叫事件。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
并集union至少属于其中一个集合的元素全体,A ∪ B 对应「A 或 B」。
条件期望conditional expectationE[X | 𝓕] 是已知 σ-代数 𝓕 中的信息时对 X 的最佳猜测;它本身是一个 𝓕-可测的随机变量。
差集set difference在 A 里但不在 B 里的元素,记作 A \ B,等于 A ∩ Bᶜ。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。