高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 18 / 47 页幻灯片 18/49例子

阈值概率与间断点:只要 ℙ(X = c) = 0,就有 ℙ(Xₙ > c) → ℙ(X > c)

Threshold probabilities and discontinuities

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

设 「超过门槛 的概率」 会不会收敛到 只要极限 恰好等于 的概率是 0,就会;如果 就可能不会——反例是

这是第 2 部分「随机变量的收敛」的最后一页,是上一页连续映射定理的一个应用。

  • 上一页 第 17 页 的定理 13 说:只要函数 在极限 处(以概率 1)连续,依概率收敛就能「穿过」即
  • 这一页取 为门槛函数 超过 记 1,否则记 0。它在 处跳了一下, 是它的间断点(discontinuity)。标题里的 discontinuities 指的就是这个跳跃。
  • 因为 这一页其实已经在问「期望能不能跟着收敛」。这正是下一页 第 19 页 开始的第 3 部分「期望与密度的收敛」的主题,所以这一页也是两部分之间的桥。

先补基础

基础补课依概率收敛(第 14 页定义 10)

读作「 依概率收敛到 意思是:对每个

也就是「第 步误差超过容忍度 这个坏事件的概率越来越小(第 14 页)。

  • 例:误差恒为 当 时坏事件是空集,概率为 0,所以
  • 几乎必然收敛推出依概率收敛(第 14 页 命题 11),反过来不对(第 15 页 的打字机序列)。所以本页结论对几乎必然收敛也成立。
基础补课门槛函数与「在一点连续」
  • 固定实数 (门槛)。门槛函数 时取 1, 时取 0。于是 并且 (示性函数的期望就是事件的概率)。
  • 在点 连续的意思:只要数列 就有
  • 若 当 与 的距离小于 时 于是 所以 在 处连续。
  • 若 当 与 的距离小于 时 于是 在 处也连续。
  • 若 取 却有 而 所以 是 唯一的间断点。
基础补课原子:随机变量在一点上的质量
  • 若 就说 的分布在 点有一个原子(atom),也说「 在 上有质量」。
  • 用分布函数 (第 8 页)来看:事件 随 增大而变大,并起来是 由从下连续, 在 处的左极限 所以

也就是说, 恰好等价于 在 处连续。

  • 例: 服从 上的均匀分布时,每个 都有 (一个点的长度是 0)。 是抛硬币的结果(各以 的概率取 0 或 1)时,在 1 处有原子。
基础补课实数列的上极限与下极限

第 40 页 讲过函数列的 liminf、limsup,这里只要实数列的版本:

  • 是数列最终的「最高水平」;是最终的「最低水平」。
  • 例: 时
  • 本页要用三条性质:
    1. 总有
    2. 若 ( 是常数, 且 则 若 则
    3. 若 则
基础补课从下连续与从上连续(第 1 讲)
  • 从下连续(第 13 页):事件递增 则
  • 从上连续(第 14 页):事件递减 则 (概率测度总质量为 1,有限,所以可以用)。
  • 本页会用到: 随 递增,并起来是 随 递减,交起来是 所以

课件原文逐句精读

课件原文Threshold probabilities and discontinuities

Assume .

Application to a threshold

中文翻译

(标题:阈值概率与间断点)

假设 依概率收敛到

应用于一个阈值(门槛)

  • 标题 Threshold probabilities and discontinuities:threshold(阈值、门槛)指一个固定的数 threshold probability(阈值概率)指「超过门槛的概率」discontinuities(间断点)指门槛函数在 处的跳跃。标题把两件事放在一起,暗示了结论:阈值概率能否取极限,取决于极限 在间断点 上有没有质量。
  • Assume :本页唯一的假设,依概率收敛(第 14 页 定义 10)。
  • Application to a threshold:「在一个阈值上的应用」,应用的是上一页的连续映射定理(第 17 页 定理 13)。课件在这个标题下留白,下面补全。

为什么关心阈值概率?实际问题里常常要算「超过某条线」的概率:产品寿命超过 年的概率、投资损失超过 元的概率、检验统计量超过临界值的概率。如果 是 的近似(模拟、估计、数值逼近),我们希望近似出来的阈值概率也逼近真实的阈值概率。这一页说明:大多数门槛可以,落在极限原子上的门槛不一定可以。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Application to a threshold|应用于一个阈值

命题(阈值概率的收敛)

设 是固定的门槛。

  1. 若 则
  1. 若 上述结论可能不成立。反例:

逐句理解:

  • 条件 :极限 在门槛上没有原子。它不要求 满足什么,只看极限。
  • 结论:阈值概率跟着收敛。第二个式子是第一个的补集版本。
  • 第 2 条说明条件不是摆设:极限的质量一旦压在间断点上,结论就可能失败。

补写的证明:连续映射 + 有界

推导证明思路

把 写成 只在 处间断,而 以概率 1 不落在 上,所以连续映射定理给出 只取 0 和 1,是有界的,于是期望也收敛。

  1. 间断点:由先补基础, 在 的每一点连续,唯一的间断点是
  2. 极限不落在间断点上:
  3. 连续映射:由 第 17 页 定理 13(在随机极限处连续即可),也就是
  1. 从依概率收敛到期望收敛:记 两个示性函数相减,只可能是 所以 只取 0 或 1,而且 恰好当 于是

第一个等号用了期望的线性,不等号是 (第 43 页 命题 35),最后的「就是第 3 步取 5. 补集:

补充第 4 步就是「有界收敛」

第 4 步的本质是: 有界,依概率收敛就能推出期望收敛。第 1 讲的有界收敛定理 BCT(第 46 页 推论 37)要求的是几乎处处收敛,不能直接套在依概率收敛上;它的依概率版本是 第 20 页 定理 15 取 的特例。对示性函数,上面的直接计算最省事。

第 3 步用到的连续映射定理:为什么只要求「在 X 处连续」

设 博雷尔可测, 在博雷尔集 的每一点连续,且 要证

  1. 任取一个子列 它仍依概率收敛到 由子列判别法(第 16 页 定理 12)存在子子列 使 几乎必然。
  2. 在事件 上(两个概率为 1 的事件之交,概率仍为 1):而 在 处连续,所以
  3. 所以 的每个子列都有几乎必然收敛到 的子子列。由定理 12 的另一个方向,

补写的反例:极限落在门槛上

例子反例:X_n = c + 1/n,X = c
  • 收敛:对每个 当 时 所以 (其实是每个 上都收敛)。
  • 阈值概率: 对每个 成立,所以 而 不大于 所以
  • 结论:
  • 原因:极限的全部质量都压在门槛这个间断点上。 从右边逼近 每一步都「刚好过线」,到了极限却「刚好没过线」。用 的语言: 根本不收敛到 连续映射定理的条件在这里失效。

例子

例 1:均匀分布的极限,任何门槛都可以

设 服从 上的均匀分布,门槛 命题说 直接验证:

这里用了均匀分布 (数值: 时是 1, 时是 0.6, 时是 0.51,确实趋于 0.5。

例 2:抛硬币的极限,门槛在原子上就出问题

设 以各 的概率取 0 或 1,

  • 门槛 (不是原子):当 时,而 所以 恰好当 结论成立。
  • 门槛 (原子, 恰好当 所以 对每个 成立;但 极限是 结论失败。
  • 门槛 (原子, 总成立,但 结论也失败。

两次失败的差距都恰好是原子的质量 下面的推导会说明这不是巧合。

例 3:极限是常数时

设 ( 是一个常数,比如「估计量依概率收敛到真值 常数 只在 这一点有原子(质量为 1)。

  • 若 所以
  • 若 同样
  • 若 命题不给结论。例如 为偶数时 为奇数时 所以 在 1 和 0 之间来回跳,连极限都不存在。

这说明:依概率收敛到 等于说「落在 两侧任何一条固定线之外的概率趋于 0」,但它不管 从哪一侧贴近

推导:一步一步来

不用连续映射的直接夹逼证明

这个证明只用依概率收敛的定义和第 1 讲的从上、从下连续,还顺便说明了差距为什么恰好是

推导证明思路

「 超过 和「 超过 只在误差大于 或 离 不到 时才可能不一致。前者的概率趋于 0,后者在 时缩成

固定 记 由依概率收敛,

  1. 上方的包含:理由:若 且 则
  2. 下方的包含:理由:若 且 则
  3. 取概率(单调性与次可加性
  1. 令 :由上极限、下极限的性质 2(先补基础),
  1. 令 :第 4 步对每个 成立,中间两项不依赖 由从下连续,左端 由从上连续,右端 所以
  1. 差距就是原子:两端之差 若它为 0,上下极限都等于 由性质 3,

第 5 步的不等式不需要任何条件:阈值概率的极限行为总被夹在 和 之间,最多「漂移」 那么多。例 2 中两次失败的差距都是 正是原子的质量。

原子最多可数个:几乎所有门槛都没问题

  1. 固定正整数 考虑集合 它最多有 个点:若有 个不同的点 事件 两两不交,它们的并的概率是 与概率不超过 1 矛盾。
  2. 所有原子组成的集合是 可数个有限集合之并,至多可数。
  3. 所以除了至多可数个门槛以外,命题的条件 都成立。例 2 的原子只有 0 和 1 两个。

常见疑问与易错点

易错点问:X_n 都收敛到 X 了,为什么 ℙ(X_n > c) 不一定收敛到 ℙ(X > c)?

答:因为 中间隔着门槛函数 而 在 处是跳跃的。在 附近, 哪怕只挪动一点点, 也会在 0 和 1 之间翻转。如果极限 有正的概率正好停在 上,这种翻转就会以正的概率发生,阈值概率就收敛不到正确的值(反例

易错点问:条件 ℙ(X = c) = 0 是必要的吗?

答:不是,它是充分条件。 时,但 结论碰巧成立。不过换成「就失败了:条件 的好处是让 四种写法同时成立,不用操心 从哪一侧逼近。

易错点问:把「>」换成「≥」,结论还成立吗?

答:只要 就成立。把推导第 1 步换成 (若 且误差 则 第 2 步不变( 当然推出 再令 得到同样的夹逼:

易错点问:这和以后会学的「依分布收敛」有什么关系?

答:命题的第二个结论说:在 的每个连续点 上(即 都有 这正是「依分布收敛」的定义。所以这一页顺便证明了:依概率收敛推出依分布收敛。依分布收敛的定义之所以只要求在连续点上收敛,原因就是本页的反例。

易错点问:如果 X 有密度,是不是任何门槛都可以?

答:是。有密度 时,(一个点的勒贝格测度为 0,第 17 页),所以对每个 都有 只有带原子的极限(离散分布、混合分布)才需要小心那几个原子。

小结与自测

小结本页小结
  • 阈值概率 门槛函数只在 处间断。
  • 设 一般地 上下界之差恰为
  • 若 ( 是 的连续点),则 的版本也成立。证明可以走「连续映射 + 有界」,也可以直接夹逼。
  • 若 可能失败: 而
  • 原子至多可数个,所以除可数个门槛外结论都成立。
自测

1. 设 服从 上的均匀分布。 收敛吗?收敛到多少?

点开看答案

收敛到 0.3。因为 由命题

2. 设 (常数), 依概率收敛到 吗? 收敛吗?是命题的哪个条件不满足?

点开看答案

所以依概率收敛(其实处处收敛)。 为偶数时 为奇数时 数列 没有极限。不满足的条件是 这里

3. 填空:在夹逼不等式 中,最右端与最左端之差等于 ______;它为 0 时阈值概率收敛。

点开看答案

因为 是 与 的不交并,所以

本页术语中英对照(按出现顺序)
中文English白话解释
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
打字机序列typewriter sequence在 [0,1) 上从左到右一遍遍扫过、越来越窄的小区间的示性函数列:依概率收敛到 0,却在每一点都不收敛。
示性函数indicator function𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
从下连续continuity from below集合一层层变大(Eₙ ↑ E)时,测度也跟着收敛:μ(Eₙ) → μ(E)。
左极限left limit自变量从左边(比 x 小的一侧)靠近 x 时,函数值趋向的数,记作 f(x−)。分布函数在 x 处的跳跃 F(x) − F(x−) 就是 P(X = x)。
从上连续continuity from above集合一层层变小(Eₙ ↓ E)且 μ(E₁) < ∞ 时,μ(Eₙ) → μ(E)。
概率测度probability measure总质量 P(Ω) = 1 的测度。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
有界收敛定理bounded convergence theorem (BCT)有限测度上一致有界、几乎处处收敛的函数列,积分收敛;是 DCT 的特例。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
上极限limit superior (lim sup)数列「尾部的最大可能值」的极限;对集合则表示「发生无穷多次」。
下极限limit inferior (lim inf)数列「尾部的最小可能值」的极限;对集合则表示「从某一项起一直发生」。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
依分布收敛convergence in distribution在极限分布函数 F 的每个连续点 x 上,P(Xₙ ≤ x) → F(x)。它只比较分布,不要求 Xₙ 本身靠近 X。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。