这一页在讲什么
上一页用「且 ↔ 交、或 ↔ 并、非 ↔ 补」处理了抛两次硬币。这一页把硬币抛无穷多次,用可数多个集合的并和交,写出「至少一次正面」「从不出现正面」「出现无穷多次正面」「只出现有限次正面」这四个事件。最后一句话点题:样本点多到不可数时,没法再「给每个结局分一点概率」,必须改用测度。
这是一页纯手写的续页(课件上没有编号),是老师讲 第 6 页 时写满了屏幕,接着写的。它做了两件事:
- 事件的逻辑推广到无穷:第 6 页 只用到两个事件的交与并;这里要对 无穷多个事件一起取并、取交。这正是后面 第 9 页 要求 σ-代数对「可数并」封闭的原因——不然「无穷多次正面」这种最自然的事件都写不出来。
- 预告为什么需要测度:样本空间有限或可数时,给每个结局分配一个概率、再加起来就行;不可数时这条路走不通。下一页 第 8 页 就在此基础上给出概率的两条公理。
本页最难的是上极限、下极限(limsup / liminf)。别怕,下面会用具体的正反面序列,一个一个演示「对每个 都存在 和「存在 使得所有 是什么意思。
先补基础
- 是全体正整数(本课从 1 开始数),读作「自然数集」。
- 无穷序列:一个接一个、永远不结束的一列东西,例如 写成 其中 是第 个位置上的东西。
- 下标 在 里表示「第几个」: 是第 1 次抛的结果, 是第 5 次抛的结果。
- 每个位置 都从 里选一个,得到的所有无穷序列组成的集合。它是 第 5 页 里 (长度为 的数组)的「无穷长」版本。
设 是一列集合(无穷多个)。
- 属于至少一个 的元素全体。即 ⟺ 存在某个 使
- 属于每一个 的元素全体。即 ⟺ 对所有 都有
- 下标里的 表示只对 这些取并或取交。例如
- 例:(从 开始的所有正整数)。因为任何正整数 都不属于
- 读作「对所有」「对每一个」(for all): 表示「不管 取哪个值」。
- 读作「存在」「至少能找到一个」(there exists): 表示「能找到某个
- 顺序很重要。「你先随便给我一个 我再根据你的 去找一个 「我先挑定一个 然后从它往后的每一个 都要满足条件。
- 否定的规则:「对所有 都……」不成立 ⟺「存在某个 不……」;「存在 ……」不成立 ⟺「所有 都不……」。所以「和「在取否定时会互换。
- 对照上面:交 ↔ 对所有(,并 ↔ 存在(。
- 读作「对 里所有 把 加起来」。例: 时就是
- 可数(countable):元素能排成一列 一个一个编号(有限集也算可数)。例如 全体整数、全体有理数都可数。
- 不可数(uncountable):无论怎么排,都排不完。例如区间 以及本页的
- 无穷多项求和(级数) 的意思是:看前 项的和 当 越来越大时它逼近哪个数。例: 前 项和是 逼近 1,所以总和为 1。这种办法只能对排成一列(可数)的项使用。
老师板书在说什么
- Define infinite tosses.(定义无穷次抛掷)
- then we have
- .( 上方用粉色写着 or)
- .( 上方用粉色写着 and)
- .(左边的 用粉色写;infinite 和 many 下面各有一个红点)
- 在第 7 行下标的正下方,用蓝色写着:(对着 (对着
- (左边整块和右边的 用粉色写;finite 和 many 下面各有一个小黑点)
- 在第 10 行下标的正下方:(对着 (对着 再下面写着
- finite
- countable
- uncountable (右侧)assign the mass ?
- (uncountable 的右下方)measure.
老师在第 6 行写的 no head even occurs,「even」应为「ever」(no head ever occurs:从来没有出现过正面),是手误。第 7、10 行的 infinite many / finite many 按英文语法应为 infinitely many / finitely many,意思不受影响。
下面按板书顺序,把它组织成六步。
第 1 步:无穷次抛硬币的样本空间(第 1–3 行)
- 一个完整结局(第 5 页 的「完整可能世界」)现在是一整条无穷长的正反面序列,例如 所以
- 是「第 次是正面」这个事件:所有第 位是 H 的序列。它和 第 6 页 板书里的 (第 1 次正面)、(第 2 次正面)是同一个想法,只是现在有无穷多个:
- 就是「第 次是反面」,因为每一位不是 H 就是 T。
- 注意: 只管第 位,其余位置随便。所以 里有无穷多条序列。
第 2 步:「至少一次正面」——可数并,对应 or(第 5 行)
理由: ⟺ 存在某个 使 ⟺ 存在某一次是正面 ⟺ 至少一次正面。老师在 上写 or:「第 1 次正面,或第 2 次正面,或第 3 次正面,或……」。
第 3 步:「从不出现正面」——可数交,对应 and(第 6 行)
理由: ⟺ 对每个 都有 ⟺ 每一次都是反面。老师在 上写 and:「第 1 次反面,且第 2 次反面,且……」。满足它的序列只有一条:全是 T。
第 2、3 步的两个事件互为补集:「至少一次正面」不发生,恰好就是「从不出现正面」。这是 第 6 页 德摩根律的无穷版本:
第 4 步:「无穷多次正面」——先并后交,这就是上极限(第 7–9 行)
这是本页的核心。先把式子拆成两层来看。
内层:固定一个 令
外层:再对所有 取交,
属于它 ⟺ 对每一个 ⟺ 不管从哪一次往后看,后面总还有正面。老师在下标下面写的 就是这句话的符号版:交 对应「并 对应「( 是正整数,所以 和 是一回事。)
为什么「不管从哪往后看都还有正面」就等于「正面有无穷多次」?
- 如果正面只有有限次,那么总有最后一次正面,设它在第 次(一次正面都没有就取 从第 次往后看,一次正面都没有了,条件在这个 上失败。
- 如果正面有无穷多次,那么任给一个 前 次只有有限个位置,装不下无穷多次正面,所以一定有某次正面出现在第 次或之后,条件对这个 成立。
这个集合有一个专门的名字,上极限(lim sup):
老师在 infinite many 下面点了红点,就是要你记住:上极限 = 发生无穷多次。英文常写作 i.o. 是 infinitely often(无穷多次)的缩写。
第 5 步:「只有有限次正面」——取补集,得到下极限(第 10–11 行)
「无穷多次正面」不发生,就是「只有有限次正面」。对第 4 步的集合取补集,用两次德摩根律(补集把「交」变「并」、把「并」变「交」):
读法: 属于它 ⟺ 存在某个 使得对所有 都有 ⟺ 从某一次起,以后全是反面。这就是老师写的 和第 4 步相比, 与 的位置正好互换,这正是「否定会让量词互换」(见上面的基础补课)。
为什么「从某次起全是反面」等于「只有有限次正面」?从第 次起全是反面,那正面只可能出现在前 次里,最多 次,是有限次;反过来,只有有限次正面时,取 为最后一次正面的下一次即可。
这个集合也有名字,下极限(lim inf):
英文常说「 eventually」(最终一直发生)。老师在 finite many 下点了小黑点,和上面的 infinite many 形成对照。一句话总结第 4、5 步:
第 6 步:概率质量怎么分配?有限、可数、不可数(第 12–15 行)
事件写好了,下一个问题是:怎么给事件分配概率?老师分三种情况:
- finite(有限): 只有有限个结局时,给每个结局 一个非负权重 要求 再规定 例:两次抛币,每个结局 则「至少一次正面」的概率是
- countable(可数): 可以排成一列时,同样的做法还行,只是求和变成无穷级数。例:一直抛到第一次出现正面,记录抛了几次,公平硬币下 总和
- uncountable(不可数): 就是不可数的。这时老师问:assign the mass?(质量怎么分配?) 答案写在下面:measure(测度)。
为什么不可数时「逐点分配」行不通?以公平硬币为例:
- 任取一条序列 「前 次都和 一样」的概率是 而单点事件 比它还小,所以 对每个 都成立。 越大, 越接近 0,只能
- 于是每个结局的概率都是 0。要是还想用「把各点概率加起来」得到 就成了「一大堆 0 加起来等于 1」,不可能。
- 出路:不再从单点出发,而是直接给事件(集合)分配概率,例如规定 再要求分配满足一致的规则(可数可加性,第 8 页)。这种「给集合分配质量的规则」就叫测度(第 12 页)。
展开:为什么 {H,T}^ℕ 不可数(康托尔对角线论证)
假设能把所有无穷正反面序列排成一列:构造一条新序列 第 位取与 的第 位相反的结果( 就令 反之令
那么 和 在第 1 位不同,和 在第 2 位不同……和每一个 都在第 位不同,所以 不在这一列里。可 明明也是一条正反面序列,与「排出了所有序列」矛盾。所以这个集合无法排成一列,是不可数的。
例子
下面用五条具体序列,逐一检验它们属于哪些事件。约定: 恰好在第 次(完全平方数)是正面,其余都是反面。
| 序列 | 至少一次正面 | 从不正面 | 无穷多次正面 | 有限次正面 |
|---|---|---|---|---|
| (奇数次是 H) | 是 | 否 | 是 | 否 |
| (只有前 3 次是 H) | 是 | 否 | 否 | 是 |
| (全是 T) | 否 | 是 | 否 | 是 |
| (只在平方数位置是 H) | 是 | 否 | 是 | 否 |
| (第 4 次起全是 H) | 是 | 否 | 是 | 否 |
每一行最后两列一定是「一个是、一个否」,因为这两个事件互为补集(第 5 步)。
检验 是否属于 要对每个 找到一个 使第 次是 H:
- 取 (第 1 次是 H)。
- 第 2 次是 T,往后找,取
- 第 100 次是 T,取 (奇数,是 H)。
- 一般的 是奇数就取 是偶数就取
每个 都找得到,所以
检验 (平方数位置是 H)。 任给 取 因为 有 而第 次正是 H。所以也属于 正面越来越稀疏,但永远不会断,这就足够了。
检验 用 (「从第 次起还有正面」)逐个看:
| 1 | 2 | 3 | 4 | 5 | 6 | … | |
|---|---|---|---|---|---|---|---|
| 是( | 是( | 是( | 否 | 否 | 否 | 否 |
到 就找不到了(第 4 次起全是 T)。「对所有 在 这里失败,所以
检验 是否属于 只需要找到一个 使从它往后全是 T:取 第 4、5、6……次全是 T,成立。所以 (取 也都行,但找到一个就够了。)
检验 试 第 1 次是 H,失败。试 第 3 次是 H,失败。试任何 从 往后总会碰到一个奇数位置,那里是 H,失败。一个合格的 都找不到,所以
检验 取 就成立。它既属于「从不正面」,也属于「有限次正面」(0 次也是有限次)。可见 「从一开始就全是反面」是「从某次起全是反面」的特例。
对任意一列事件 (不必是抛硬币),定义
总有 从某次起一直发生,当然就发生了无穷多次。反过来不一定:取 序列 属于 (无穷多次正面),却不属于 (它从来没有「从某次起一直是正面」);而 两个都属于。第 3 讲的 Borel–Cantelli 引理,研究的就是 什么时候是 0、什么时候是 1。
选「公平硬币」时,不管把红线 拖到多靠后,红线右边几乎总还有蓝色的正面——这就是 (对每个 都存在 使第 次是正面)。换成「正面概率越来越小」,多抛几遍会发现:正面通常只出现在最前面几次,把 拖过最后一次正面之后,右边就全是反面了——这条序列属于「只有有限次正面」注意:图里只画了前 80 次,真正的判断要看无穷长的序列,演示只是帮你建立直觉。
推导:一步一步来
要证 按「追元素」的办法分两个方向:先证左边的序列都有无穷多次正面,再证有无穷多次正面的序列都在左边。然后用可数版本的德摩根律得到补集的公式。
记
方向一:若 则
- 任取一个正整数 要证 即存在 使
- 用反证:假设第 次及以后全是反面。那么正面只能出现在第 次,最多 次。
- 这和 (正面有无穷多次)矛盾,所以一定存在 使 即
- 第 1 步的 是任取的,所以对所有 都有 按交集的定义,
方向二:若 则
- 用反证:假设 即正面只有有限次。
- 若一次正面都没有,令 否则令 为最后一次正面所在的位置。
- 取 第 次及以后没有正面,所以
- 但 要求 属于每一个 包括 矛盾。所以
两个方向合起来,两个集合相等。
可数版本的德摩根律:对任意一列集合
证明第二个(第一个完全类似,也可以逐行写出):
把 代进去,再对每个 用第一个公式,就得到第 5 步的
常见疑问与易错点
答:差别很大。「允许 随着 变: 时找 时找 如果把顺序换成「存在一个固定的 对所有 都有 那就要求一个数比所有正整数都大,这不可能。所以写上极限时,量词的顺序一个也不能动。
答:不是。 有无穷多次正面,但从来没有「从某次起一直是正面」,因为正面后面总跟着反面。前者是 后者是 一般只有 本页板书里配对的是 和 (注意有补集 它们才是互补的。
答:一层不够。只用一层并 只能说「至少一次」;只用一层交 说的是「每次都是正面」。「无穷多次」介于两者之间,需要两层:内层「从 往后还有」,外层「对每个 都如此」。这也说明:只允许有限次运算的事件族,连「无穷多次正面」都表达不了,σ-代数必须允许可数次并与交(第 9 页)。
答:因为概率不再是「把单点概率加起来」。 不可数,无法把所有单点排成一列求和。测度直接对事件定值:所以 「每个点概率为 0,但整体概率为 1」在不可数空间里一点也不矛盾(第 8 页 用 上的均匀分布再讲一遍)。
小结与自测
- 无穷次抛币:=「第 次正面」。
- 可数并 ↔ 或 ↔ 存在(可数交 ↔ 且 ↔ 对所有(=至少一次正面,=从不正面。
- 上极限 =无穷多次正面。
- 下极限 =只有有限次正面;它是上一条的补集(德摩根律让 互换)。
- 有限、可数的 可以逐点分配概率;不可数时每个点概率为 0,必须改为直接给事件分配概率——这就是测度。
1. 判断序列 (两正两反循环)是否属于 和 并说明理由。
点开看答案
属于 任给 从第 次往后最多走 3 步就会碰到正面(每 4 次里有 2 次正面),所以 成立。不属于 它是 的补集;直接看也一样,任何 往后都还会出现正面,找不到「从此全是反面」的
2. 用 和集合运算写出「从第 10 次起每次都是正面」,并判断它是否包含于
点开看答案
(对所有 第 次是正面)。它包含于 若从第 10 次起全是正面,则任给 取 第 次是正面,所以 成立。
3. 填空: ,用语言说是「」。
点开看答案
也就是 语言:「不是从某次起 一直发生」=「 不发生的情况出现了无穷多次」。推导:外层并的补是补的交,内层交的补是补的并。
| 中文 | English | 白话解释 |
|---|---|---|
| 无穷多次 | infinitely often (i.o.) | 「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 不可数 | uncountable | 无论怎么排都排不成一列,例如区间 [0,1] 里的全体实数。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| σ-代数 | sigma-algebra | 允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。 |
| 样本空间 | sample space | 一次试验所有可能的完整结局组成的集合,记作 Ω。 |
| 上极限 | limit superior (lim sup) | 数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。 |
| 下极限 | limit inferior (lim inf) | 数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。 |
| 元素 | element | 集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。 |
| 有理数 | rational number | 能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 补集 | complement | 样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。 |
| 德摩根律 | De Morgan's laws | 「并的补 = 补的交」「交的补 = 补的并」,把「非(A 或 B)」变成「非 A 且非 B」。 |
| 可数可加性 | countable additivity | 两两不交的可数个集合,并集的测度等于各自测度之和。 |
| Borel–Cantelli 引理 | Borel–Cantelli lemma | 概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。 |
| 交集 | intersection | 同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |