高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 2 部分 随机变量的收敛:误差与子列

PDF 第 10 / 47 页幻灯片 10/49定理

偏差概率可求和:几乎必然收敛最常用的判别法

Summable deviation probabilities

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

如果对每个容忍度 「第 步误差超过 的概率加起来是有限数,那么 几乎必然。这就是把第一 Borel–Cantelli 引理(第 4 页)用在误差事件(第 9 页)上,不需要任何独立性。

这是第 2 部分「随机变量的收敛」的第二页。上一页(第 9 页)已经把几乎必然收敛翻译成了一句关于事件的话:

右边「i.o. 的概率为 0」恰好是第一 Borel–Cantelli 引理的结论,而那个引理的条件是「概率之和有限」。把两件事接起来,就得到这一页的推论 7。这一页做三件事:

  1. 陈述并证明推论 7:偏差概率可求和 ⇒ 几乎必然收敛;
  2. 课件的例子:只知道误差的矩 时,先用 Markov 不等式把矩换成概率,再用推论 7;
  3. 说明它只是充分条件,并给后面几页做准备:第 11 页 马上用它证明 第 16 页 用它的加强版从依概率收敛的序列里挑出几乎必然收敛的子列。

先补基础

基础补课推论(corollary)与「可求和」(summable)
  • 推论:由前面已经证明的定理直接推出来的结论,证明通常很短。推论 7 就是由第一 Borel–Cantelli 引理(定理 2,第 4 页)和上一页的命题 B(第 9 页)直接推出的。
  • 可求和:一列非负数 叫可求和,是说 例: 可求和(和不超过 2,第 4 页 例 1); 不可求和(调和级数发散,第 5 页)。
  • 比较法:若 且 则 常数倍不改变是否有限:
基础补课偏差(deviation)与误差事件(回顾)
  • 偏差就是误差 第 个随机变量离目标 有多远。它本身也是随机变量,不同的 上大小不同。
  • 误差事件 「第 步的误差超过容忍度 它属于 (第 9 页 的可测性),所以可以谈它的概率,这个概率就是「偏差概率」。
  • 例: 时,误差恒为 取 当且仅当 所以误差事件在 时是整个 在 时是空集。
基础补课矩(moment)与 Markov 不等式(第 2 讲)
  • 对随机变量 和 叫 的 阶(绝对)矩。 是平均绝对误差, 是均方误差。
  • Markov 不等式(第 29 页 的广义形式):对任意

理由:处处有 ( 时左边是 否则左边是 两边取期望,左边是

  • 例:若 则 矩小,意味着大误差的概率小。

课件原文逐句精读

课件原文Summable deviation probabilities

Corollary 7 (Summable deviations)

Proof

Example: a summable moment bound

中文翻译

推论 7(偏差可求和)

证明

例:可求和的矩界

  • Summable deviation probabilities(蓝条标题):「可求和的偏差概率」。deviation probabilities 指 summable 指把它们对 加起来是有限数。标题已经把推论 7 的条件说出来了。
  • Corollary 7:推论 7,编号接着 第 9 页 的定义 6。设定也沿用 第 9 页: 是同一个概率空间 上的实值随机变量。
  • Proof:推论的证明。
  • Example: a summable moment bound:moment 是「矩」,bound 是「上界」。「可求和的矩界」指条件 误差的矩加起来有限。这个例子说明:不知道误差的具体分布、只知道它的矩时,推论 7 照样能用。
  • 三个标签下面都是留白,下面逐一补全。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Corollary 7 (Summable deviations)|推论 7(偏差概率可求和)

推论 7(偏差概率可求和)

设 是 上的实值随机变量。若对每个

则 几乎必然。

逐个看条件:

  • 「对每个 :容忍度越小,误差事件越大( 时 和也越大。所以这个条件的真正分量在很小的 上。证明里会看到,只检查 就够了。
  • 「和有限」:不只要求 还要求它趋于 0 得足够快,快到加起来有限。例如 可以, 不行。
  • 没有独立性: 之间怎样相关都可以,因为第一 Borel–Cantelli 引理本身不需要独立(第 4 页)。
  • 结论:几乎必然收敛,即不收敛的样本点合起来概率为 0。
人话版直觉:每种容忍度下,平均出错次数都有限

固定 令 为「误差超过 的步数」。第 4 页 证明二算过:

  • 推论 7 的条件就是:对每个容忍度,平均出错次数都有限;
  • 平均次数有限,出错次数就几乎必然有限:最后一次出错之后, 永远待在以 为中心、半宽 的「管子」里(第 9 页 的人话版);
  • 对越来越细的管子都这样,就是收敛。

Proof|证明

推导证明思路

固定 把第一 Borel–Cantelli 引理用在误差事件 上,得到「以概率 1 只出错有限次」;再对可数多个 合起来,用上一页的命题 B(或直接用可数次可加性)得到收敛。

  1. 误差事件是事件:对固定的 令 是随机变量,所以 (第 9 页 的可测性)。
  2. 用第一 Borel–Cantelli 引理:由假设,定理 2(第 4 页)对任意一列事件成立,所以
  1. 对每个 都成立:第 2 步里的 是任取的。由 第 9 页 的命题 B(「⇐」方向), 几乎必然。

第 3 步也可以不引用命题 B,直接写出来:

第一个等号是 第 9 页 的命题 A(不收敛集的误差事件表示),不等号是可数次可加性(第 4 页)。

所以 注意这里只用到了 这可数多个容忍度;正因为是可数个,才能用可数次可加性把它们合起来。

Example: a summable moment bound|例:矩的和有限

例子课件例:可求和的矩界

命题:若存在某个 使

则 几乎必然。

证明:

  1. Markov 不等式把矩换成概率:固定 对 用 Markov 不等式(第 29 页):

第一个不等号是单调性: 2. 对 求和:由比较法,

右边是一个有限数乘以常数 仍是有限数。3. 用推论 7:第 2 步对每个 成立,所以 几乎必然。

数值例:抛硬币的频率,只看平方数时刻。 设 是独立的公平抛硬币(正面 1、反面 0,第 8 页)。令 (正面记 反面记 前 次正面的频率是

所以「频率趋于 就是「

  • 二阶矩:每个 对 两次结果相同时 不同时为 由独立性,所以 于是
  • 整列不行:二阶矩的和发散,命题用不上。
  • 只看 :令 则 由命题( 几乎必然:在第 次抛掷时看,正面频率几乎必然趋于
  • 具体数字:取 第 1 步给出 于是(可数次可加性,再用 第 4 页 例 1 的裂项估计

取 右边是 以至少 99% 的概率,从第 次抛掷起,每个平方数时刻的频率都落在 到 之间( 等价于频率与 相差不超过

例子

例 1:抛硬币的强大数定律——换成四阶矩,整列都收敛

沿用上面的记号。二阶矩 加起来发散,但四阶矩衰减得更快:

由课件例的命题(取 几乎必然,即正面频率几乎必然趋于 。这就是抛硬币情形的强大数定律。

计算 :

  1. 每种 组合的概率都是 : 取某一组值 等于规定了 个不同位置上的抛掷结果,概率是 (第 8 页 基础补课)。所以期望就是对 种组合取平均。
  2. 展开:下标 跑遍 种有序组合。
  3. 有下标出现奇数次的项,期望为 0:设下标 出现 1 次或 3 次。因为 这一项等于 只含其他下标。把每种组合和「只把第 位变号」的组合配成一对:两者概率相同(都是 不变, 变号,这一项的值正好相反。所有组合两两抵消,平均为 0。
  4. 剩下的项:每个下标都出现偶数次,只有两种情况。
    • 四个下标全相同: 项,每项
    • 两个不同的下标 各出现两次:选 有 种,再从 4 个位置里选 2 个放 有 种,共 项,每项
  5. 合计:检查 以概率 取 一致。

为什么 不行、 行:Markov 不等式给出 (和发散)或 (和有限)。阶数越高,界衰减得越快,越容易满足可求和。

例 2(反例):矩趋于 0 但加起来发散,可能根本不收敛

设 相互独立,令

  • 对每个 矩趋于 0。
  • 但 课件例的命题用不上。
  • 事实上由第二 Borel–Cantelli 引理(第 7 页), 发生无穷多次(概率为 1), 不几乎必然收敛到 0(第 9 页 例 2)。

所以「可求和」不能放宽成「趋于 0」。

例 3(反例):推论 7 的逆命题不成立

在 上令 (第 5 页、第 9 页 例 3)。

  • 对每个 之后 所以 处处成立。
  • 但对 和为

所以几乎必然收敛推不出偏差概率可求和。推论 7 只是充分条件,这和第一 Borel–Cantelli 引理的逆不成立(第 5 页)是同一件事。

推导:一步一步来

加强版(推论 7′):容忍度可以随 变小。 若存在正数 使

则 几乎必然。

  1. 令 由第一 Borel–Cantelli 引理,
  2. 取 (这些 合起来概率为 1)。 只落进有限个 所以存在 使所有 都有
  3. 由于 且 夹逼得

这里只用了一次第一 Borel–Cantelli 引理,不需要对 取并。第 16 页 的证明正是这样用的:挑子列时让第 项满足

课件例的另一种证明:用 MCT。

  1. 非负随机变量的级数可以和期望交换(MCT,第 36 页;做法同 第 4 页 证明二第 2 步):
  1. 期望有限的非负随机变量几乎必然有限(第 4 页 证明二第 3 步),所以几乎必然有
  2. 收敛级数的通项趋于 0,所以 从而

常见疑问与易错点

易错点问:只对一个 ε(比如 ε = 0.1)验证可和性,够不够?

答:不够。例:(常数随机变量),取 和为 0,条件满足;但 在 之间来回跳,不收敛。只对一个 成立时,能得到的只是「几乎必然地,误差最终不超过 即 而不是收敛。

易错点问:推论 7 需要 X_n 相互独立吗?独立性什么时候有用?

答:不需要。第一 Borel–Cantelli 引理不需要独立,推论 7 也不需要;课件例中的 共用了前面的抛掷结果,高度相关,照样能用。独立性在反方向上有用:若 相互独立、极限 是常数,且 几乎必然,那么对每个 都有 否则事件 独立且和为无穷,由第二引理(第 7 页)它们发生无穷多次,与收敛矛盾(第 9 页 命题 B)。

易错点问:「偏差概率趋于 0」和「偏差概率可求和」有什么区别?

答:前者弱得多。前者是「依概率收敛」(第 14 页),它只说每一步出错的概率越来越小;后者还要求出错概率小得足够快,快到平均出错次数有限。例 2 满足前者、不满足后者,结果确实不几乎必然收敛。

易错点问:矩界里的 p 怎么选?p 越大越好吗?

答:命题对任意 成立,选哪个 都行,只要 例 1 中 不行、 行,因为高阶矩给出衰减更快的界。但 越大,要求 有限就越苛刻:误差的尾巴很重时,高阶矩可能是 这时只能用低阶矩。

小结与自测

小结本页小结
  • 推论 7:对每个 ⇒ a.s.;不需要独立性。
  • 证明:固定 用第一 Borel–Cantelli 引理,得「只出错有限次」;再对可数个 合起来(第 9 页 命题 B)。
  • 课件例:若某个 使 由 Markov 不等式 推论 7 给出几乎必然收敛。抛硬币时用四阶矩就得到「频率几乎必然趋于
  • 加强版: 且 也推出几乎必然收敛(第 16 页 要用)。
  • 只是充分条件:逆命题不成立(例 3);「可求和」不能放宽成「趋于 0」(例 2)。
自测

1. 已知对所有 和所有 之间的关系未知。能否断定 几乎必然?

点开看答案

能。固定 (指数大于 1 的 -级数收敛),推论 7 的条件对每个 都满足。推论 7 不需要独立性,所以结论成立。

2. 只知道 能否断定 几乎必然?

点开看答案

不能。课件例的命题(用不上,而仅凭这个信息两种情况都可能发生:取独立事件 由第二 Borel–Cantelli 引理不几乎必然收敛;取 (在 上),它处处收敛到 0。两者的 都是

3. 在推论 7 的证明里,第一 Borel–Cantelli 引理用在了哪一列事件上?为什么最后只需要 这些容忍度?

点开看答案

用在 ( 固定,上。最后要把「每个 都只出错有限次」合成「收敛」,需要对 取并再用可数次可加性,这只对可数多个 行得通;而收敛只要对 检查就够了(任给 总有 所以取

本页术语中英对照(按出现顺序)
中文English白话解释
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
偏差概率deviation probabilityXₙ 和目标 X 相差超过 ε 的概率 P(|Xₙ − X| > ε)。它趋于 0 就是依概率收敛;对每个 ε 它都可求和时,由 Borel–Cantelli 引理可推出几乎必然收敛。
可求和summable非负数列的级数和有限:Σ aₙ < ∞。例如 Σ 1/n² 可求和,Σ 1/n 不可求和(和是 +∞)。
Markov 不等式Markov's inequalityX ≥ 0 时 P(X ≥ t) ≤ E X / t:期望小,取大值的概率就小。
依概率收敛convergence in probability对每个 ε > 0,P(|Xₙ − X| > ε) → 0;比几乎必然收敛弱。
子列subsequence从一个数列里按顺序挑出无穷多项组成的新数列。
级数series无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
次可加性subadditivity并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。
阶矩momentE[|X|ᵖ] 叫 p 阶(绝对)矩;它有限与否反映尾部有多「重」。
强大数定律strong law of large numbers (SLLN)独立同分布且 E|X₁| < ∞ 时,样本均值 Sₙ/n 几乎必然收敛到 E X₁。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。