高等概率论逐页精讲

第 1 讲 测度与积分›第 1 部分 概率空间与可测事件

PDF 第 10 / 47 页幻灯片 9/42讨论

为什么不总是取全部子集 2^Ω?

Why not always choose 2^Ω?

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

全部子集 永远是一个合法的 σ-代数,但「合法」不等于「该选」。有两个理由让我们选更小的事件族:一是观测数据分辨不了那么多子集;二是连续的「长度」没法在 的所有子集上自洽地定义。

上一页 第 9 页 定义了 σ-代数。一个自然的想法是:既然 最大、包含所有子集,干脆每次都选它,省得挑。这一页回答「为什么不能总这样偷懒」。

课件用左右两个彩色框做对比:

  • 绿框 Sometimes it works(有时行得通):有限样本空间、以及 上的「点质量」,都可以放心取全部子集;
  • 红框 Why it may be too large(为什么可能太大):观测层面和数学层面各有一个问题。数学层面的问题要到维塔利定理(第 21 页、第 22 页)才彻底讲清。

老师的板书用两次抛硬币举了一个很具体的例子:两个不同的概率分配,在「粗」的 σ-代数上完全一样,到了 上却不一样。下一页 第 11 页 会讲怎么系统地选出「够用又不太大」的 σ-代数。本页属于第 1 部分「概率空间与可测事件」。

先补基础

基础补课概率空间三件套 (Ω, ℱ, ℙ)
  • 一个概率模型由三样东西组成:样本空间 (第 5 页)、事件族 (σ-代数,第 9 页)、概率 (第 8 页)。
  • 板书写的 强调中间那一项: 是从 里挑出来的,可以等于 也可以更小。本页就是在讨论怎么挑。
  • 是全体实数(整条数轴)。
基础补课示性记号 𝟏{…}
  • 读作「某条件的示性」:条件成立时等于 1,不成立时等于 0。
  • 例: 在 时等于 1(0 在里面),在 时等于 0(开区间不含端点 0)。
  • 它是后面「示性函数」(第 30 页)的前身。
基础补课平移与平移不变
  • 把集合 整体向右挪 例:
  • 一种「度量」 叫平移不变(translation invariant),如果挪动之后度量不变:长度就是平移不变的: 和 长度都是 1。
基础补课「定律」(law)

板书里的 Law 1、Law 2 就是「概率分配」(也叫分布):给每个结局一个概率。概率论里常把一个随机现象的分布叫作它的 law。

课件原文逐句精读

课件原文It is a valid sigma-algebra, but not an automatic choice

It is a valid sigma-algebra, but not an automatic choice  is always a sigma-algebra. The question is whether every subset represents an event to which the model can assign a meaningful and consistent probability.

中文翻译

它是合法的 σ-代数,但不是自动的选择  永远是一个 σ-代数。问题在于:是不是每一个子集,都代表一个模型能够给出有意义且自洽的概率的事件。

It is a valid sigma-algebra, but not an automatic choice|合法,但不是想都不想就选它

  • valid(合法): 满足 第 9 页 的三条规则(下面「推导」一节有证明),这一点永远成立。
  • not an automatic choice(不是自动的选择):合法只说明「可以选」,不说明「应该选」。
  • 真正的问题是后半句:每个子集都当事件,就意味着要给每个子集一个概率。这个概率要满足两点:
    1. meaningful(有意义):这个数字能和我们实际观察到的东西对上号,能被数据检验;
    2. consistent(自洽):所有这些数字放在一起,满足 第 8 页 的规范性和可数可加性,不出矛盾。
  • 绿框说「有时两点都满足」,红框说「有时第 1 点不满足,有时第 2 点不满足」。
课件原文Sometimes it works

For a finite sample space, one usually takes all subsets. Even on , the point mass

is a probability measure on every subset .

中文翻译

有时候行得通 对有限样本空间,人们通常取全部子集。即使在 上,点质量 也是定义在每一个子集 上的概率测度。

Sometimes it works|有时候行得通(绿框)

有限样本空间:放心取全部子集。 有限原子模型(第 8 页)里,只要给每个结局一个重量 总和为 1,就可以对每个子集 定义 自动满足两条规则。所以数学上从不出问题。

上的点质量:也行。 读作「delta 零」,叫作在 0 处的点质量(point mass,也叫狄拉克测度):

  • 它描述的随机现象是「一定取到 0」:所有概率质量都压在 0 这一个点上。
  • 它对 的每个子集都有定义:随便给一个集合 只需判断 0 在不在里面。
  • 它满足概率的两条规则(证明见「推导」一节),所以是 上的概率测度。
  • 这说明:「 的子集太多」本身不是问题。出问题的是特定的测度——下面红框说的「连续长度」。
课件原文Why it may be too large
  • The recorded observations may not distinguish every subset of .
  • Continuous length cannot be countably additive and translation invariant on every subset of ; the Vitali example will show why.
中文翻译

为什么它可能太大

  • 记录下来的观测,可能分辨不了 的每一个子集。
  • 连续的长度不可能在 的每个子集上既可数可加、又平移不变;维塔利的例子会说明原因。

Why it may be too large|为什么它可能太大(红框)

第 1 条:观测分辨不了每个子集(「有意义」出问题)。

  • 第 9 页 板书说过:σ-代数代表「能分辨什么」。如果我们只记录了部分信息(比如只记了第 1 次硬币),那么很多子集是否发生,我们根本无从知道。
  • 给这些子集规定概率,数字再漂亮也无法被数据检验,因为不同的规定和数据同样吻合。老师的板书例子(Law 1 与 Law 2)正是这个意思,下面细讲。
  • 所以建模时, 应该和「实际能观测、能记录的信息」相匹配,而不是一律取最大。

第 2 条:连续长度在所有子集上不自洽(「自洽」出问题)。

  • continuous length(连续长度):把区间长度 推广到更多集合上的那个「长度」。
  • 我们希望它同时满足三件事:① 区间 的长度是 ② 可数可加(第 8 页);③ 平移不变(挪动集合不改变长度)。
  • 结论(维塔利定理,第 21 页):不存在定义在 的所有子集上、同时满足这三条的函数。维塔利构造了一个「坏」集合,只要给它一个长度,无论给多少都会出矛盾(第 22 页)。
  • 出路:把长度只定义在一部分「好」的集合上——博雷尔集(第 11 页)或勒贝格可测集(第 23 页)。对 上的均匀分布,事件族就不能取

老师板书在说什么

老师板书板书转写(按从上到下的顺序)
  1. (写在印刷段落下方)

  2. (写在两个彩色框下方)Vitali set for the continuous length.

  3. 表格:

    HH HT TH TT
    Law 1 1/2 0 1/2 0 1/2 1/2
    Law 2 0 1/2 0 1/2 1/2 0
  4. both law agree on ( 下面画了两道线)

  5. But on Law 1 and Law 2 disagree.

第 1 行:概率空间里 ℱ 的位置

老师把三件套写成 把「 是 的一部分」直接写进了三元组,提醒你:本页讨论的就是中间这一项该取多大。

第 2 行:维塔利集是冲着「连续长度」来的

这一行对应红框第 2 条:维塔利集(Vitali set)是专门用来说明「连续长度不能定义在所有子集上」的反例。注意它针对的是连续长度,不是所有测度——绿框里的 就不受影响。

第 3–6 行:两个定律,粗看一样,细看不同

是「第 1 次正面」(和 第 6 页 的 相同,只是元素的书写顺序换了,集合不变)。

第一步:读懂两个定律。

  • Law 1:HH 和 TH 各 HT 和 TT 为 0。也就是:第 1 次公平,第 2 次一定是正面。
  • Law 2:HT 和 TT 各 HH 和 TH 为 0。也就是:第 1 次公平,第 2 次一定是反面。
  • 两者都满足「四个结局的概率非负、总和为 1」,都是合格的概率分配。

第二步:算 (用可加性,把 拆成 和

第三步:在 上逐个比较。

事件 Law 1 Law 2 理由
0 0 任何概率都有
1/2 1/2 第二步
1/2 1/2
1 1 规范性

四个事件全部一致,这就是 both law agree on 。

第四步:在 上找不一致。 看 Law 1 给 Law 2 给 所以 on Law 1 and Law 2 disagree。(第 2 次正面的事件 上差得更多:1 对 0。)

第五步:这说明什么? 假设你的数据只记录了第 1 次硬币(信息就是 见 第 9 页)。那么:

  1. 无论真实情况是 Law 1 还是 Law 2,你看到的数据统计规律一模一样(第 1 次正面的频率都接近
  2. 如果你坚持用 建模,就必须回答 是多少。可数据支持 也支持 还支持中间的任何值(见例 2)。这个数字没有意义,因为它不能被你的观测检验。
  3. 所以老师的结论是:事件族应当与记录下来的信息相符。在只看第 1 次的模型里, 才是恰当的选择,不必(也不应该)给 定概率。

图解

图解:绿框「行得通」与红框「太大了」
课件局部
  • 颜色:绿色表示「没问题」的情形,红色表示「要警惕」的情形。两框左右并排,是一组正反对比,回答同一个问题「能不能取全部子集」。
  • 左边绿框从上到下:先说有限样本空间(最常见,最放心);再举一个 上的例子 居中的公式 是本框的核心——一个对所有子集都有定义的概率测度。
  • 右边红框有两个圆点,分别对应两类问题:第 1 个圆点是建模 / 信息问题(观测分辨不了),第 2 个圆点是数学问题(长度在所有子集上不自洽),并预告维塔利例子。
  • 怎么读这张图:左框说明「子集多」不一定坏;右框说明「子集多」在两种情况下确实坏。所以取不取 要看具体模型:离散、点质量可以取;只观测到部分信息、或要用连续长度时,不能取。
图解:老师的「两个定律」对比表
课件局部
  • 表头(第 3 行手写):四列 HH、HT、TH、TT 是四个结局,后两列 是两个事件的概率。
  • 两行:Law 1 和 Law 2 是两种不同的概率分配。每行前四个数是四个结局的概率,加起来都是 1。
  • 倒数第二行的结论:两个定律在 上一致( 下面画了两道线,强调这个 只含 这一个「非平凡」的信息)。
  • 最后一行的结论:在 上两者不一致。
  • 怎么读:竖着比较 那一列,两行都是 看不出差别;再比较 那一列, 对 差别一目了然。这张表就是红框第 1 条的具体例子。

例子

例 1:点质量 δ₀ 的计算

按定义,只看 0 在不在集合里:

  • (开区间不含 0);(0 是有理数);
  • 验证可加性的一个具体拆分:三块两两不交, 值分别是 和为
  • 它不是平移不变的:但把 挪 1 得到 这正是它能定义在所有子集上的原因之一——维塔利的矛盾需要平移不变性(第 21 页)。
例 2:粗信息下,{HH} 的概率可以是 [0, 1/2] 里的任何数

推广板书:第 1 次公平;若第 1 次是 H,第 2 次以概率 出 H;若第 1 次是 T,第 2 次以概率 出 H(四个结局的概率是

  • 在 上:不论 取多少都一样。
  • 在 上:随 从 0 变到 1 取遍
  • Law 1 是 Law 2 是 公平独立硬币是 (每个结局 无穷多个不同的定律,在粗的 σ-代数上全部一致。
例 3:ℝ 上的离散分布也能取全部子集

「掷一颗公平骰子,记下点数」可以看成 上的概率:对任意

例:(含 1、2);它对每个子集都有定义且满足两条规则,和 同属「绿框」情形。一般地,质量全部放在可数多个点上的分布,都可以放心取全部子集。

推导:一步一步来

推导证明思路

两件事:(1) 满足 σ-代数的三条规则——每条都只是「子集做运算还是子集」;(2) 满足概率的两条规则——关键观察是「0 最多只能落在两两不交的集合中的一个里」。

结论 1: 是 σ-代数。

  1. 所以
  2. 若 则 也由 的元素组成,是子集,所以
  3. 若每个 则 的每个元素都来自某个 也在 里,所以

结论 2: 是 上的概率测度。

  1. 取值范围: 只取 0 或 1,都在 里。
  2. 规范性:所以
  3. 可数可加性:设 两两不交,分两种情况:
    • 若 0 至少在某一个 里;又因为两两不交,0 至多在一个里。所以恰好一个 含 0。左边 右边 只有第 项是 1,其余都是 0,和为 1。相等。
    • 若 0 不在任何 里,左边为 0,右边每一项都是 0,和为 0。相等。
  4. 两种情况都成立,所以可数可加。证明中从来没有用到「 是区间」之类的限制,所以对任意子集都成立。

常见疑问与易错点

易错点问:既然 δ₀ 可以定义在所有子集上,为什么长度不行?

答:因为长度的要求多得多:区间 的长度必须是 还要可数可加、平移不变。维塔利证明这三条在所有子集上不能同时满足(第 21 页、第 22 页)。 不是平移不变的(例 1),也不给区间「长度」,所以不受这个限制。

易错点问:有限样本空间也会有「太大」的问题吗?

答:数学上不会:有限时取 永远自洽。但建模上会:板书的例子本身就是有限的(4 个结局),问题出在「信息」上——数据只记录第 1 次时,给 定的概率无法检验。红框第 1 条说的就是这种情况。

易错点问:不选 2^Ω,会不会漏掉很多我们关心的事件?

答:实际上几乎不会。在 上,你能明确写出来的集合(区间、它们的可数并与交、补集……)都属于博雷尔 σ-代数(第 11 页)。维塔利集这种「坏」集合,要借助选择公理才能构造,没法具体写出(第 21 页)。所以缩小 丢掉的只是一些「病态」集合。

易错点问:两个定律在 ℱ 上一致,是不是说明它们「其实是同一个定律」?

答:在 的眼里是同一个:它们对 里的每个事件给出相同的概率,作为 上的函数完全相等。但它们在更大的 上不同。这告诉我们:一个概率测度是「定义在某个 σ-代数上的函数」,离开了定义域谈它是否相同没有意义。

小结与自测

小结本页小结
  • 永远是 σ-代数,但不一定是好选择:要问每个子集能否得到有意义且自洽的概率。
  • 行得通的情形:有限样本空间; 上的点质量 (以及其他离散分布)。
  • 太大的原因一:观测分辨不了所有子集。板书的 Law 1、Law 2 在 上一致,在 上不一致。
  • 太大的原因二:连续长度不能在 的所有子集上既可数可加又平移不变(维塔利,第 21 页)。
  • 结论: 要与信息相符,并且要小到能自洽地定义概率。
自测

1. 计算 (a)(b)(c)

点开看答案

(a)0 不在 里,值为 0。(b)0 在里面,值为 1。(c) 等价于 0 满足 所以 0 在里面,值为 1。

2. 构造一个「Law 3」,使它在 上与 Law 1 一致,但

点开看答案

取公平独立硬币:四个结局各 则 与 Law 1 相同; 也相同;但 (对应例 2 中

3. 判断:「在 上,不存在定义在所有子集上的概率测度。」

点开看答案

错误。点质量 就是定义在 所有子集上的概率测度(见推导一节结论 2)。真正不存在的,是「定义在所有子集上、给区间以长度、可数可加并且平移不变」的函数——这是维塔利定理说的事。

本页术语中英对照(按出现顺序)
中文English白话解释
子集subsetA 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。
σ-代数sigma-algebra允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
样本空间sample space一次试验所有可能的完整结局组成的集合,记作 Ω。
点质量point mass (Dirac measure)把全部质量 1 放在一个点上:δ₀(E) = 1 当且仅当 0 ∈ E。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
平移不变性translation invariance把集合整体平移,测度不变:μ(E + t) = μ(E)。长度就有这个性质。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
可数可加性countable additivity两两不交的可数个集合,并集的测度等于各自测度之和。
概率测度probability measure总质量 P(Ω) = 1 的测度。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
勒贝格可测Lebesgue measurable能被勒贝格测度称重量的集合(通过卡拉泰奥多里判别)。
维塔利集Vitali set用选择公理造出的「坏」集合,证明了不可能给 ℝ 的所有子集定义长度。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
选择公理axiom of choice允许从无穷多个非空集合里各挑一个元素,组成一个新集合;维塔利集就是这样造的。