高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 3 部分 期望与密度的收敛

PDF 第 25 / 47 页幻灯片 25/49例子

概率误差的精确计算:L¹ 误差是 2/(n+1),最大事件误差是 1/(n+1)

An exact calculation of the probability error

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

在 上,把均匀密度 换成「高度 只铺在 上」的密度 面积仍是 1,并且 逐点成立。精确计算得到:所有事件中概率误差最大的是 (以及它的补集),最大误差恰好是

这是第 3 部分「期望与密度的收敛」的最后一页,一个能把每个数都算出来的例子,用来检验前三页的结论:

  • 第 22 页–第 23 页:Scheffé 引理说密度逐点收敛 ⇒
  • 第 24 页:最大事件误差 在 上取到,正部面积 = 负部面积。

本页把这些量全部精确算出,看它们怎样对上。下一页 第 26 页 开始第 4 部分:前面的密度都是题目给的,那里要问「密度从哪里来」。

先补基础

基础补课常数乘示性函数的积分
  • 在 上取值 其余取 0。它的积分是「高 × 宽」:(第 30 页 简单函数的积分)。
  • 例:
基础补课(0,1) 上的均匀分布,以及 fₙ 是谁的密度
  • 概率空间 在 里均匀地取一个点,事件的概率就是长度。均匀分布的密度是
  • 上的均匀分布,密度是 (高度要等于宽度的倒数,面积才是 1)。
  • 本页的 正是这样:所以 是 上均匀分布的密度, 就是「在 里均匀取点」。 越来越接近 1, 也越来越接近 上的均匀分布。
基础补课上一页的公式(回顾)

对两个密度 记 则(第 24 页)

上确界在 上取到。

课件原文逐句精读

课件原文An exact calculation of the probability error

On , set and , where .

Normalization and pointwise convergence

The absolute error

中文翻译

(标题:概率误差的精确计算)

在 上,令 其中

归一化与逐点收敛

绝对误差

逐个符号看:

  • :测度空间是开区间 它的博雷尔集、长度测度。这是 第 24 页 一般设定 的一个具体实例。
  • :极限密度,均匀分布。
  • :在 上取 在 上取 0。和 相比:左边一大段抬高了 右边一小段挖空了。
  • :逐渐增大趋于 1。也可以写成
  • Normalization and pointwise convergence:normalization(归一化)指验证 即 确实是密度;pointwise convergence(逐点收敛)指验证 这两条正是 第 24 页 设定里的两个条件。
  • The absolute error:绝对误差 以及它给出的事件概率误差。
  • 标题里的 exact(精确):不是只证明「趋于 0」,而是把误差的确切数值算出来。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Normalization and pointwise convergence|归一化与逐点收敛

例子归一化:fₙ 是概率密度
  • 非负: 只取 和 两个值,都
  • 积分为 1:高 × 宽,
  • 也是密度:

的选法正是为了这一点:高度是 宽度就必须是它的倒数 面积才等于 1。抬高的那部分面积,恰好由挖空右端那一小段来补偿。

例子逐点收敛:fₙ(x) → 1 对每个 x ∈ (0,1)

固定

  1. 什么时候 落在 里:(最后一步两边除以正数
  2. 此后的值:当 时,
  3. 取极限:

所以 在 的每一点成立(比「几乎处处」还好)。

数值: 时 时 点 不在开区间 里, 起 依次是 越靠近 1 的点,要等越久才开始收敛。

  • 收敛不是一致的:对每个 在 上 所以 不趋于 0。
  • 但 Scheffé 引理适用: 是密度, 逐点成立,由 第 24 页(Scheffé gives convergence in 下一小节把它精确算出来。

The absolute error|绝对误差

例子绝对误差 ∫|fₙ − f| 的精确值

第 1 步:逐点的误差。

第 2 步:分段积分。

其中

第 3 步:核对正部 = 负部。 是抬高的部分,面积 是挖空的部分,面积 两者相等,各为 的一半,和 第 24 页 的结论 1 一致。

例子最大的事件概率误差:1/(n+1)

第 1 步:任一事件的误差公式。 对博雷尔集 把 分成落在 里的部分和落在 里的部分:

第 2 步:上界。 第一项至多 第二项至少是 0,所以 反过来,第一项至少是 0,第二项至多 所以 故

第 3 步:在哪个事件上取到。

  • ( 的全部质量都在这里),差
  • 它的补集 差 绝对值相同。

所以 恰好是绝对误差的一半,与 第 24 页 一致。

读法:从 抽出来的点永远不会超过 而从 抽出来的点以概率 超过 「抽到的点 是最能区分两个分布的事件。

数值表(再加一个 看趋势):

高度 绝对误差 最大事件误差 取到最大误差的事件
1 2 1 或
4 或
9 或
99 或

时 和 在 上完全不重叠,最大误差达到 随着 增大,误差按 的速度下降。

例子

例 1:n = 4 时几个具体事件的误差

最大误差上界 用第 1 步的公式

事件 差
0.5
0.5
0.3
1 0.8
0 0.2

所有误差都不超过 只有 和它的补集达到 像 这样同时包含「抬高」和「挖空」两段的事件,两种误差部分抵消。

例 2:用随机变量来实现这两个分布

设 服从 上的均匀分布,令

  • 服从 上的均匀分布:对 正是密度 积出来的分布函数。
  • 两者非常接近: 对每个样本点成立。
  • 事件 的概率是 而 是不可能事件。这正是取到最大误差的事件。
例 3(反例):随机变量逐点收敛,总变差却不趋于 0

仍取 为均匀分布,令 (把 向下取到 的整数倍)。

  • 对每个样本点成立,收敛得和例 2 一样好。
  • 但 只取有理数,所以 而 (有理数可数,长度为 0)。事件「取值是有理数」上的概率差是 1,总变差距离恒为 1。
  • 原因: 的分布是离散的,对 没有密度,Scheffé 引理的设定根本不成立。本页的结论依赖于「 是对同一个 的密度,并且逐点收敛」,而不是「随机变量逐点收敛」。

推导:一步一步来

误差的两个来源一样大。 绝对误差 由两块组成:

  1. 高度误差:在长度 的区间上每点高了 面积
  2. 缺失质量:在长度 的区间上完全没有质量,面积

两块相等不是巧合,而是两个密度都归一化的直接后果(正部 = 负部)。如果只把高度抬高、不挖空右端,总面积就会超过 1, 不再是密度。

为什么误差是 量级。 在大部分地方是 (小),在一小段上是 1(大),但那一小段的长度是 两者都随 以 的速度缩小。对照逐点收敛: 始终不变。 误差看的是面积,不是最大高度差,所以「最坏的点」的误差不缩小,不妨碍面积缩小。

用重叠面积再算一次。 在 上, 在 上,重叠面积 由 第 23 页、第 24 页:总变差 三种算法结果一致。

常见疑问与易错点

易错点问:sup ₓ |fₙ(x) − f(x)| 始终是 1,为什么还说 fₙ 收敛到 f?

答:这里有三种不同的「收敛」。一致收敛(最大高度差趋于 0)不成立;逐点收敛(每个固定的 上收敛)成立; 收敛(面积误差趋于 0)也成立。Scheffé 引理只需要逐点收敛,就能推出 收敛。高度差为 1 的区域长度只有 对面积、对概率的影响都越来越小。

易错点问:靠近 1 的点收敛得很慢,会不会影响结论?

答:不会。 要到 才开始有 越靠近 1 越慢,但每个固定的点最终都会收敛,这就是逐点收敛。Scheffé 引理不要求各点收敛得一样快。

易错点问:最大误差在 (0, aₙ) 上取到,还是在 [aₙ, 1) 上取到?

答:两个都是。 在 上等于 在 上等于 总变差取的是绝对值的上确界,两者一样大。一般地,若 取到最大误差,它的补集 也取到:

易错点问:随机变量很接近,分布就一定在总变差意义下很接近吗?

答:不一定(例 3)。总变差比较的是每个事件的概率,包括「取值是有理数」这种很「细」的事件。离散分布和连续分布无论多接近,总有这样的事件把它们区分开。只有两者都有对同一个 的密度、并且密度逐点收敛时,Scheffé 引理才保证总变差趋于 0。

小结与自测

小结本页小结
  • 设定: 是 上均匀分布的密度。
  • 归一化:逐点收敛: 后 (不一致)。
  • 绝对误差:正部、负部各
  • 最大事件误差 在 和它的补集上取到; 时分别是
自测

1. 取 求 绝对误差和最大事件误差,并写出一个取到最大误差的事件。

点开看答案

绝对误差 最大事件误差 在 上取到:

2. 要让每个事件的概率误差都不超过 至少要多大?

点开看答案

最大事件误差是 要求 即

3. 取 计算事件 上的误差 并检查它不超过最大误差。

点开看答案

长度 0.4; 长度 0.1。由公式 绝对值 直接验证:差约

本页术语中英对照(按出现顺序)
中文English白话解释
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
补集complement样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
Scheffé 引理Scheffé's lemma非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。
逐点收敛pointwise convergence对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。
正部positive / negative partf⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。
简单函数simple function只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
上确界supremum (sup)最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
上界upper bound数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
一致收敛uniform convergence所有点上的最大差距 supₓ |fₙ(x) − f(x)| → 0。比逐点收敛强:不允许某些点收敛得特别慢。