高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 15 / 47 页幻灯片 15/49例子

打字机序列:依概率收敛到 0,却在每一点都不收敛

The typewriter sequence

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

一个「窗口」在 上从左往右扫:先是整段,再分两半各扫一次,再分四段各扫一次……窗口宽度 越来越小,所以「窗口盖住你」的概率趋于 0,序列依概率收敛到 0;但每扫完一层,每一个点都恰好被盖住一次,所以在每个点上 都无穷多次等于 1、无穷多次等于 0,处处不收敛。

这是第 2 部分「随机变量的收敛」最重要的反例。

  • 上一页 第 14 页 证明了:几乎必然收敛 ⇒ 依概率收敛。这一页说明反过来不成立,而且错得很彻底:不是「在一小部分点上不收敛」,而是在所有点上都不收敛。
  • 下一页 第 16 页 会看到:即便如此,打字机序列里仍能挑出一个几乎必然收敛的子列。这就是子列判别法的出发点。
  • 后面 第 20 页、第 21 页 也拿这个序列当例子:它说明为什么第 1 讲的控制收敛定理(要求几乎必然收敛)不能直接用在依概率收敛上。

先补基础

基础补课半开区间 [a, b) 与 [0,1) 上的长度
  • 包含左端点,不包含右端点。
  • 用半开区间切分不会重叠: 和 不交,并起来正好是 如果用闭区间 点 会被算两次。
  • 概率空间 样本空间是 事件是博雷尔子集,概率是长度(勒贝格测度,第 23 页)。
  • 「均匀随机数」就是样本点本身。所以 服从 上的均匀分布。
基础补课二进区间(dyadic interval)
  • 形如 的区间叫二进区间, 是「层数」, 是这一层里的「位置」。
  • 第 层有 个区间,每个长度 从左到右排开,恰好把 切成 段。
  • 例: 时是
  • 给定一点 和层数 它落在第 个区间里( 表示不超过 的最大整数,叫向下取整)。理由: 两边除以 就是 例:落在
基础补课每个正整数 n 唯一地写成 2ᵐ + k
  • 对每个正整数 存在唯一的一对整数 使
  • 理由: 取「不超过 的最大的 2 的幂」,即 满足 再令 则
  • 例:
  • 用二进制看更直观: 的二进制最高位是 去掉最高位剩下的就是 例:去掉最高位得
  • 于是下标 这 个数组成第 层,叫第 个块。
基础补课示性函数(回顾)

在 时为 1,否则为 0(第 30 页)。 就是「 落在第 层第 个区间里」的示性函数。它是随机变量,

课件原文逐句精读

课件原文The typewriter sequence

On , take and define for .

Dyadic intervals and their indices

中文翻译

(标题:打字机序列)

在 上,取 并对 定义

二进区间及其下标

逐句看:

  • On :概率空间是单位区间配上长度测度(先补基础)。
  • take :随机变量 就是「读出样本点」,它是均匀分布的。
  • define for :下标写成 的形式。因为每个正整数 唯一地写成这个样子,这一行对每个 恰好定义了一次 。 是「 落在第 层第 个二进区间里」的示性函数。
  • Dyadic intervals and their indices:「二进区间与它们的下标」。这是一个小标题,下面应当列出「哪个 对应哪个区间」。下一节补全成表格。
  • 标题 typewriter(打字机):老式打字机的字车从左往右走完一行,就回到最左边开始下一行。这里的「窗口」也是一层从左扫到右,然后回到 0 开始下一层,只是每一层的「字」更窄。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

记 (于是 也就是

Dyadic intervals and their indices|二进区间及其下标

块(层) 区间 长度
0 1 0 1
1 2 0
1 3 1
2 4 0
2 5 1
2 6 2
2 7 3
3 8 0
3 9 1
3 10 2
3 11 3
3 12 4
3 13 5
3 14 6
3 15 7

接下来 是第 4 层,16 个长度为 的区间,依此类推。

人话版怎么读这张表:一层一层往下看

在纸上画几条平行的横线,每条都代表 第 0 条整条涂黑(第 1 条切成两段,先涂左半(再涂右半(第 2 条切成四段,依次涂(第 3 条切八段(

  • 每一行(每一块)涂的格子正好铺满整条线,互不重叠:所以每个点在每一块里恰好被涂一次。
  • 越往下格子越窄:第 块里每个格子的宽度是 所以「某一个时刻 涂到你」的概率越来越小。
  • 这两条就是本页的两个结论。

补写:依概率收敛到 0

命题结论 1(依概率收敛)

更具体地,若 则对

推导:

  1. 只取 0 和 1。对 当且仅当 当且仅当 对 概率为 0。
  2. (区间长度)。
  3. 由 得 时 所以 由定义 10(第 14 页),

顺便:所以它还在平均意义下收敛到 0( 收敛)。

补写:在每一点都不收敛

命题结论 2(处处不收敛)

对每个 数列 中有无穷多个 1 和无穷多个 0,因而

数列 不收敛。特别地, 不几乎必然收敛到任何随机变量。

推导:

  1. 每块恰好一个 1。固定 和 第 块的区间 两两不交、并起来是 (先补基础),所以 恰好落在其中一个里,就是 那一个。于是在这一块里, 恰好当 其余 上
  2. 无穷多个 1。块有无穷多个(每块贡献一个 1。
  3. 无穷多个 0。 时第 块有 个下标,只有一个是 1,其余至少一个是 0。
  4. 上下极限。数列只取 0、1,并且两者都出现无穷多次,所以 (第 13 页 基础补课:取值 1 无穷多次 ⇒ 取值 0 无穷多次 ⇒ 上下极限不相等,数列不收敛。
  5. 不几乎必然收敛到任何 。若 几乎必然,由命题 11 它也依概率收敛到 依概率收敛的极限几乎必然唯一(第 14 页 推导),所以 几乎必然,于是 但第 4 步说 矛盾。
人话版一个漂亮的观察:打到 ω 的下标就是 ω 的二进制展开

把 写成二进制小数 第 层里盖住 的位置是 它的二进制正好是 (把小数点右移 位再取整)。于是在第 块里打到 的下标是

例:各块里打到它的下标依次是 这正是演示里 时那些高条的位置。

动手试一试打字机序列:拖动 n 看窗口,拖动 ω 看一条路径

上方是第 个窗口 (深色块)和你选的点 (竖线);下方是固定这个 时 的取值。拖动 窗口越来越窄,读数里的 越来越小。再换几个 每一块(–––––里永远恰好有一根高条——这根高条永远不会消失,所以路径不收敛。

例子

例 1:跟踪 ω = 0.7,列出前 15 项

各层的位置

打到 的 区间
0 0.7 0 1
1 1.4 1 3
2 2.8 2 6
3 5.6 5 13
4 11.2 11 27

所以 当且仅当 前 15 项是

1 之间的间隔越来越长(大约每次翻倍),但永远会再来一个 1。

例 2:抬高窗口——依概率收敛,期望却不收敛

令 (即窗口越窄、高度越高,保持面积为 1。

  • 依概率收敛到 0:概率
  • 期望不收敛到 0: 对每个 成立。
  • 处处不收敛:每个 上, 在第 块里有一项等于 所以

这是 第 19 页 尖峰反例的「打字机版本」:依概率收敛推不出期望收敛,缺的是共同的可积上界(第 20 页)。

例 3:可以挑出几乎必然收敛的子列

只看每块的第一项,

  • 对 当 后,所以
  • 对 永远成立,不收敛。但
  • 结论:子列 几乎必然。也可以用第一 Borel–Cantelli 引理看:

整个序列处处不收敛,子列却几乎必然收敛——第 16 页 的子列判别法说,这不是巧合。

推导:一步一步来

为什么偏差概率不可求和(与 第 10 页 对照)。 推论 7 说偏差概率可求和就几乎必然收敛。打字机序列不几乎必然收敛,所以偏差概率一定不可求和。直接算:第 块有 项,每项概率 一块的和是 1,

用 第 4 页 证明二的语言: 是 被打中的总次数,它的期望是 而且这里不仅期望无穷,每个 上的次数都是无穷(每块一次)。

为什么第二 Borel–Cantelli 引理在这里不是原因。 事件 不独立:同一块里的区间互不相交,例如 「无穷多次发生」在这里来自几何构造(每块铺满 不是来自独立性。

常见疑问与易错点

易错点问:依概率收敛到 0,是不是至少在「大部分」点上收敛到 0?

答:不是。打字机序列依概率收敛到 0,却没有任何一个点收敛。依概率收敛只说「每个固定时刻,被打中的点越来越少」,完全不管同一个点在不同时刻的命运。正是因为每次被打中的是不同的一小批点,每个点都能轮到无穷多次。

易错点问:为什么样本空间用 [0,1),区间用左闭右开?

答:为了让每一层的区间恰好铺满样本空间、互不重叠,这样「每块恰好打中一次」才精确成立。如果用闭区间,像 这样的分点会在同一块里被打中两次;如果样本空间含 1,点 1 在任何一层都不会被打中。这些只影响零测集,不改变结论,但半开区间让叙述最干净。

易错点问:打字机序列也在 L¹ 意义下收敛到 0,这说明什么?

答:所以它在 意义下收敛到 0,但几乎必然不收敛。这说明平均意义下的收敛也推不出几乎必然收敛。反方向也不成立:第 19 页 的尖峰几乎必然收敛到 0,期望却恒为 1。几乎必然收敛和 收敛互不蕴含,二者都推出依概率收敛( 那一条由 Markov 不等式得到:

小结与自测

小结本页小结
  • 打字机序列:每个 唯一写成 ( 是 落在二进区间 的示性函数。第 块的 个区间恰好铺满
  • 依概率收敛到 0:(还在 意义下收敛)。
  • 处处不收敛:每个 在每块里恰好被打中一次,
  • 偏差概率之和为 与推论 7 不矛盾;事件不独立,「无穷多次」来自几何构造。
  • 子列 几乎必然:为 第 16 页 的子列判别法做铺垫。
自测

1. 对应哪个区间? 是多少?

点开看答案

所以

2. 对 在第 3 块(里哪个 使

点开看答案

所以 区间 确实包含 0.3。

3. 找出打字机序列的另一个几乎必然收敛到 0 的子列(不同于 并说明理由。

点开看答案

例如每块的最后一项 对每个 (即 里的所有点),当 后 所以这个子列处处收敛到 0。也可以用第一 Borel–Cantelli 引理:

本页术语中英对照(按出现顺序)
中文English白话解释
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
控制收敛定理dominated convergence theorem (DCT)fₙ → f 几乎处处且 |fₙ| ≤ g、g 可积时,∫fₙ → ∫f。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
样本空间sample space一次试验所有可能的完整结局组成的集合,记作 Ω。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
子集subsetA 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
零测集null set测度为 0 的集合,例如单点、有理数全体、康托尔集。
Markov 不等式Markov's inequalityX ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。