高等概率论逐页精讲

第 1 讲 测度与积分›第 1 部分 概率空间与可测事件

PDF 第 7 / 47 页幻灯片 —板书续页

板书续页:无穷次抛硬币、上极限与下极限

Handwritten page: infinite coin tosses, limsup and liminf

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

上一页用「且 ↔ 交、或 ↔ 并、非 ↔ 补」处理了抛两次硬币。这一页把硬币抛无穷多次,用可数多个集合的并和交,写出「至少一次正面」「从不出现正面」「出现无穷多次正面」「只出现有限次正面」这四个事件。最后一句话点题:样本点多到不可数时,没法再「给每个结局分一点概率」,必须改用测度。

这是一页纯手写的续页(课件上没有编号),是老师讲 第 6 页 时写满了屏幕,接着写的。它做了两件事:

  1. 事件的逻辑推广到无穷:第 6 页 只用到两个事件的交与并;这里要对 无穷多个事件一起取并、取交。这正是后面 第 9 页 要求 σ-代数对「可数并」封闭的原因——不然「无穷多次正面」这种最自然的事件都写不出来。
  2. 预告为什么需要测度:样本空间有限或可数时,给每个结局分配一个概率、再加起来就行;不可数时这条路走不通。下一页 第 8 页 就在此基础上给出概率的两条公理。

本页最难的是上极限、下极限(limsup / liminf)。别怕,下面会用具体的正反面序列,一个一个演示「对每个 都存在 和「存在 使得所有 是什么意思。

先补基础

基础补课自然数集 ℕ 与无穷序列
  • 是全体正整数(本课从 1 开始数),读作「自然数集」。
  • 无穷序列:一个接一个、永远不结束的一列东西,例如 写成 其中 是第 个位置上的东西。
  • 下标 在 里表示「第几个」: 是第 1 次抛的结果, 是第 5 次抛的结果。
  • 每个位置 都从 里选一个,得到的所有无穷序列组成的集合。它是 第 5 页 里 (长度为 的数组)的「无穷长」版本。
基础补课可数多个集合的并与交

设 是一列集合(无穷多个)。

  • 属于至少一个 的元素全体。即 ⟺ 存在某个 使
  • 属于每一个 的元素全体。即 ⟺ 对所有 都有
  • 下标里的 表示只对 这些取并或取交。例如
  • 例:(从 开始的所有正整数)。因为任何正整数 都不属于
基础补课量词 ∀ 与 ∃
  • 读作「对所有」「对每一个」(for all): 表示「不管 取哪个值」。
  • 读作「存在」「至少能找到一个」(there exists): 表示「能找到某个
  • 顺序很重要。「你先随便给我一个 我再根据你的 去找一个 「我先挑定一个 然后从它往后的每一个 都要满足条件。
  • 否定的规则:「对所有 都……」不成立 ⟺「存在某个 不……」;「存在 ……」不成立 ⟺「所有 都不……」。所以「和「在取否定时会互换。
  • 对照上面:交 ↔ 对所有(,并 ↔ 存在(。
基础补课求和号 Σ、可数与不可数
  • 读作「对 里所有 把 加起来」。例: 时就是
  • 可数(countable):元素能排成一列 一个一个编号(有限集也算可数)。例如 全体整数、全体有理数都可数。
  • 不可数(uncountable):无论怎么排,都排不完。例如区间 以及本页的
  • 无穷多项求和(级数) 的意思是:看前 项的和 当 越来越大时它逼近哪个数。例: 前 项和是 逼近 1,所以总和为 1。这种办法只能对排成一列(可数)的项使用。

老师板书在说什么

老师板书板书转写(按从上到下的顺序)
  1. Define infinite tosses.(定义无穷次抛掷)
  2. then we have
  3. .( 上方用粉色写着 or)
  4. .( 上方用粉色写着 and)
  5. .(左边的 用粉色写;infinite 和 many 下面各有一个红点)
  6. 在第 7 行下标的正下方,用蓝色写着:(对着  (对着
  7. (左边整块和右边的 用粉色写;finite 和 many 下面各有一个小黑点)
  8. 在第 10 行下标的正下方:(对着  (对着 再下面写着
  9. finite 
  10. countable 
  11. uncountable    (右侧)assign the mass ?
  12. (uncountable 的右下方)measure.

老师在第 6 行写的 no head even occurs,「even」应为「ever」(no head ever occurs:从来没有出现过正面),是手误。第 7、10 行的 infinite many / finite many 按英文语法应为 infinitely many / finitely many,意思不受影响。

下面按板书顺序,把它组织成六步。

第 1 步:无穷次抛硬币的样本空间(第 1–3 行)

  • 一个完整结局(第 5 页 的「完整可能世界」)现在是一整条无穷长的正反面序列,例如 所以
  • 是「第 次是正面」这个事件:所有第 位是 H 的序列。它和 第 6 页 板书里的 (第 1 次正面)、(第 2 次正面)是同一个想法,只是现在有无穷多个:
  • 就是「第 次是反面」,因为每一位不是 H 就是 T。
  • 注意: 只管第 位,其余位置随便。所以 里有无穷多条序列。

第 2 步:「至少一次正面」——可数并,对应 or(第 5 行)

理由: ⟺ 存在某个 使 ⟺ 存在某一次是正面 ⟺ 至少一次正面。老师在 上写 or:「第 1 次正面,或第 2 次正面,或第 3 次正面,或……」。

第 3 步:「从不出现正面」——可数交,对应 and(第 6 行)

理由: ⟺ 对每个 都有 ⟺ 每一次都是反面。老师在 上写 and:「第 1 次反面,且第 2 次反面,且……」。满足它的序列只有一条:全是 T。

第 2、3 步的两个事件互为补集:「至少一次正面」不发生,恰好就是「从不出现正面」。这是 第 6 页 德摩根律的无穷版本:

第 4 步:「无穷多次正面」——先并后交,这就是上极限(第 7–9 行)

这是本页的核心。先把式子拆成两层来看。

内层:固定一个 令

外层:再对所有 取交,

属于它 ⟺ 对每一个 ⟺ 不管从哪一次往后看,后面总还有正面。老师在下标下面写的 就是这句话的符号版:交 对应「并 对应「( 是正整数,所以 和 是一回事。)

为什么「不管从哪往后看都还有正面」就等于「正面有无穷多次」?

  • 如果正面只有有限次,那么总有最后一次正面,设它在第 次(一次正面都没有就取 从第 次往后看,一次正面都没有了,条件在这个 上失败。
  • 如果正面有无穷多次,那么任给一个 前 次只有有限个位置,装不下无穷多次正面,所以一定有某次正面出现在第 次或之后,条件对这个 成立。

这个集合有一个专门的名字,上极限(lim sup):

老师在 infinite many 下面点了红点,就是要你记住:上极限 = 发生无穷多次。英文常写作 i.o. 是 infinitely often(无穷多次)的缩写。

第 5 步:「只有有限次正面」——取补集,得到下极限(第 10–11 行)

「无穷多次正面」不发生,就是「只有有限次正面」。对第 4 步的集合取补集,用两次德摩根律(补集把「交」变「并」、把「并」变「交」):

读法: 属于它 ⟺ 存在某个 使得对所有 都有 ⟺ 从某一次起,以后全是反面。这就是老师写的 和第 4 步相比, 与 的位置正好互换,这正是「否定会让量词互换」(见上面的基础补课)。

为什么「从某次起全是反面」等于「只有有限次正面」?从第 次起全是反面,那正面只可能出现在前 次里,最多 次,是有限次;反过来,只有有限次正面时,取 为最后一次正面的下一次即可。

这个集合也有名字,下极限(lim inf):

英文常说「 eventually」(最终一直发生)。老师在 finite many 下点了小黑点,和上面的 infinite many 形成对照。一句话总结第 4、5 步:

第 6 步:概率质量怎么分配?有限、可数、不可数(第 12–15 行)

事件写好了,下一个问题是:怎么给事件分配概率?老师分三种情况:

  1. finite(有限): 只有有限个结局时,给每个结局 一个非负权重 要求 再规定 例:两次抛币,每个结局 则「至少一次正面」的概率是
  2. countable(可数): 可以排成一列时,同样的做法还行,只是求和变成无穷级数。例:一直抛到第一次出现正面,记录抛了几次,公平硬币下 总和
  3. uncountable(不可数): 就是不可数的。这时老师问:assign the mass?(质量怎么分配?) 答案写在下面:measure(测度)。

为什么不可数时「逐点分配」行不通?以公平硬币为例:

  • 任取一条序列 「前 次都和 一样」的概率是 而单点事件 比它还小,所以 对每个 都成立。 越大, 越接近 0,只能
  • 于是每个结局的概率都是 0。要是还想用「把各点概率加起来」得到 就成了「一大堆 0 加起来等于 1」,不可能。
  • 出路:不再从单点出发,而是直接给事件(集合)分配概率,例如规定 再要求分配满足一致的规则(可数可加性,第 8 页)。这种「给集合分配质量的规则」就叫测度(第 12 页)。
展开:为什么 {H,T}^ℕ 不可数(康托尔对角线论证)

假设能把所有无穷正反面序列排成一列:构造一条新序列 第 位取与 的第 位相反的结果( 就令 反之令

那么 和 在第 1 位不同,和 在第 2 位不同……和每一个 都在第 位不同,所以 不在这一列里。可 明明也是一条正反面序列,与「排出了所有序列」矛盾。所以这个集合无法排成一列,是不可数的。

例子

下面用五条具体序列,逐一检验它们属于哪些事件。约定: 恰好在第 次(完全平方数)是正面,其余都是反面。

例 1:五条序列的「成员表」
序列 至少一次正面 从不正面 无穷多次正面 有限次正面
(奇数次是 H) 是 否 是 否
(只有前 3 次是 H) 是 否 否 是
(全是 T) 否 是 否 是
(只在平方数位置是 H) 是 否 是 否
(第 4 次起全是 H) 是 否 是 否

每一行最后两列一定是「一个是、一个否」,因为这两个事件互为补集(第 5 步)。

例 2:逐个 N 演示「∀N ∃n≥N」

检验 是否属于 要对每个 找到一个 使第 次是 H:

  • 取 (第 1 次是 H)。
  • 第 2 次是 T,往后找,取
  • 第 100 次是 T,取 (奇数,是 H)。
  • 一般的 是奇数就取 是偶数就取

每个 都找得到,所以

检验 (平方数位置是 H)。 任给 取 因为 有 而第 次正是 H。所以也属于 正面越来越稀疏,但永远不会断,这就足够了。

检验 用 (「从第 次起还有正面」)逐个看:

1 2 3 4 5 6 …
是( 是( 是( 否 否 否 否

到 就找不到了(第 4 次起全是 T)。「对所有 在 这里失败,所以

例 3:逐个 N 演示「∃N ∀n≥N」

检验 是否属于 只需要找到一个 使从它往后全是 T:取 第 4、5、6……次全是 T,成立。所以 (取 也都行,但找到一个就够了。)

检验 试 第 1 次是 H,失败。试 第 3 次是 H,失败。试任何 从 往后总会碰到一个奇数位置,那里是 H,失败。一个合格的 都找不到,所以

检验 取 就成立。它既属于「从不正面」,也属于「有限次正面」(0 次也是有限次)。可见 「从一开始就全是反面」是「从某次起全是反面」的特例。

补充:上极限和下极限的一般定义

对任意一列事件 (不必是抛硬币),定义

总有 从某次起一直发生,当然就发生了无穷多次。反过来不一定:取 序列 属于 (无穷多次正面),却不属于 (它从来没有「从某次起一直是正面」);而 两个都属于。第 3 讲的 Borel–Cantelli 引理,研究的就是 什么时候是 0、什么时候是 1。

动手试一试动手试一试:「无穷多次正面」到底在说什么

选「公平硬币」时,不管把红线 拖到多靠后,红线右边几乎总还有蓝色的正面——这就是 (对每个 都存在 使第 次是正面)。换成「正面概率越来越小」,多抛几遍会发现:正面通常只出现在最前面几次,把 拖过最后一次正面之后,右边就全是反面了——这条序列属于「只有有限次正面」注意:图里只画了前 80 次,真正的判断要看无穷长的序列,演示只是帮你建立直觉。

推导:一步一步来

推导证明思路

要证 按「追元素」的办法分两个方向:先证左边的序列都有无穷多次正面,再证有无穷多次正面的序列都在左边。然后用可数版本的德摩根律得到补集的公式。

记

方向一:若 则

  1. 任取一个正整数 要证 即存在 使
  2. 用反证:假设第 次及以后全是反面。那么正面只能出现在第 次,最多 次。
  3. 这和 (正面有无穷多次)矛盾,所以一定存在 使 即
  4. 第 1 步的 是任取的,所以对所有 都有 按交集的定义,

方向二:若 则

  1. 用反证:假设 即正面只有有限次。
  2. 若一次正面都没有,令 否则令 为最后一次正面所在的位置。
  3. 取 第 次及以后没有正面,所以
  4. 但 要求 属于每一个 包括 矛盾。所以

两个方向合起来,两个集合相等。

可数版本的德摩根律:对任意一列集合

证明第二个(第一个完全类似,也可以逐行写出):

把 代进去,再对每个 用第一个公式,就得到第 5 步的

常见疑问与易错点

易错点问:「∀N ∃n≥N」和「∃n ∀N」有什么区别?

答:差别很大。「允许 随着 变: 时找 时找 如果把顺序换成「存在一个固定的 对所有 都有 那就要求一个数比所有正整数都大,这不可能。所以写上极限时,量词的顺序一个也不能动。

易错点问:「无穷多次正面」和「从某次起一直是正面」是一回事吗?

答:不是。 有无穷多次正面,但从来没有「从某次起一直是正面」,因为正面后面总跟着反面。前者是 后者是 一般只有 本页板书里配对的是 和 (注意有补集 它们才是互补的。

易错点问:为什么要先对 n ≥ N 取并,再对 N 取交?只用一层不行吗?

答:一层不够。只用一层并 只能说「至少一次」;只用一层交 说的是「每次都是正面」。「无穷多次」介于两者之间,需要两层:内层「从 往后还有」,外层「对每个 都如此」。这也说明:只允许有限次运算的事件族,连「无穷多次正面」都表达不了,σ-代数必须允许可数次并与交(第 9 页)。

易错点问:每条序列的概率都是 0,那「至少一次正面」的概率怎么可能是 1?

答:因为概率不再是「把单点概率加起来」。 不可数,无法把所有单点排成一列求和。测度直接对事件定值:所以 「每个点概率为 0,但整体概率为 1」在不可数空间里一点也不矛盾(第 8 页 用 上的均匀分布再讲一遍)。

小结与自测

小结本页小结
  • 无穷次抛币:=「第 次正面」。
  • 可数并 ↔ 或 ↔ 存在(可数交 ↔ 且 ↔ 对所有(=至少一次正面,=从不正面。
  • 上极限 =无穷多次正面。
  • 下极限 =只有有限次正面;它是上一条的补集(德摩根律让 互换)。
  • 有限、可数的 可以逐点分配概率;不可数时每个点概率为 0,必须改为直接给事件分配概率——这就是测度。
自测

1. 判断序列 (两正两反循环)是否属于 和 并说明理由。

点开看答案

属于 任给 从第 次往后最多走 3 步就会碰到正面(每 4 次里有 2 次正面),所以 成立。不属于 它是 的补集;直接看也一样,任何 往后都还会出现正面,找不到「从此全是反面」的

2. 用 和集合运算写出「从第 10 次起每次都是正面」,并判断它是否包含于

点开看答案

(对所有 第 次是正面)。它包含于 若从第 10 次起全是正面,则任给 取 第 次是正面,所以 成立。

3. 填空: ,用语言说是「」。

点开看答案

也就是 语言:「不是从某次起 一直发生」=「 不发生的情况出现了无穷多次」。推导:外层并的补是补的交,内层交的补是补的并。

本页术语中英对照(按出现顺序)
中文English白话解释
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
不可数uncountable无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
σ-代数sigma-algebra允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。
样本空间sample space一次试验所有可能的完整结局组成的集合,记作 Ω。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
德摩根律De Morgan's laws「并的补 = 补的交」「交的补 = 补的并」,把「非(A 或 B)」变成「非 A 且非 B」。
可数可加性countable additivity两两不交的可数个集合,并集的测度等于各自测度之和。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。