这一页在讲什么
在 上,把均匀密度 换成「高度 只铺在 上」的密度 面积仍是 1,并且 逐点成立。精确计算得到:所有事件中概率误差最大的是 (以及它的补集),最大误差恰好是
这是第 3 部分「期望与密度的收敛」的最后一页,一个能把每个数都算出来的例子,用来检验前三页的结论:
本页把这些量全部精确算出,看它们怎样对上。下一页 第 26 页 开始第 4 部分:前面的密度都是题目给的,那里要问「密度从哪里来」。
先补基础
- 在 上取值 其余取 0。它的积分是「高 × 宽」:(第 30 页 简单函数的积分)。
- 例:
- 概率空间 在 里均匀地取一个点,事件的概率就是长度。均匀分布的密度是
- 上的均匀分布,密度是 (高度要等于宽度的倒数,面积才是 1)。
- 本页的 正是这样:所以 是 上均匀分布的密度, 就是「在 里均匀取点」。 越来越接近 1, 也越来越接近 上的均匀分布。
课件原文逐句精读
On , set and , where .
Normalization and pointwise convergence
The absolute error
(标题:概率误差的精确计算)
在 上,令 其中
归一化与逐点收敛
绝对误差
逐个符号看:
- :测度空间是开区间 它的博雷尔集、长度测度。这是 第 24 页 一般设定 的一个具体实例。
- :极限密度,均匀分布。
- :在 上取 在 上取 0。和 相比:左边一大段抬高了 右边一小段挖空了。
- :逐渐增大趋于 1。也可以写成
- Normalization and pointwise convergence:normalization(归一化)指验证 即 确实是密度;pointwise convergence(逐点收敛)指验证 这两条正是 第 24 页 设定里的两个条件。
- The absolute error:绝对误差 以及它给出的事件概率误差。
- 标题里的 exact(精确):不是只证明「趋于 0」,而是把误差的确切数值算出来。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Normalization and pointwise convergence|归一化与逐点收敛
- 非负: 只取 和 两个值,都
- 积分为 1:高 × 宽,
- 也是密度:
的选法正是为了这一点:高度是 宽度就必须是它的倒数 面积才等于 1。抬高的那部分面积,恰好由挖空右端那一小段来补偿。
固定
- 什么时候 落在 里:(最后一步两边除以正数
- 此后的值:当 时,
- 取极限:
所以 在 的每一点成立(比「几乎处处」还好)。
数值: 时 时 点 不在开区间 里, 起 依次是 越靠近 1 的点,要等越久才开始收敛。
- 收敛不是一致的:对每个 在 上 所以 不趋于 0。
- 但 Scheffé 引理适用: 是密度, 逐点成立,由 第 24 页(Scheffé gives convergence in 下一小节把它精确算出来。
The absolute error|绝对误差
第 1 步:任一事件的误差公式。 对博雷尔集 把 分成落在 里的部分和落在 里的部分:
第 2 步:上界。 第一项至多 第二项至少是 0,所以 反过来,第一项至少是 0,第二项至多 所以 故
第 3 步:在哪个事件上取到。
- ( 的全部质量都在这里),差
- 它的补集 差 绝对值相同。
所以 恰好是绝对误差的一半,与 第 24 页 一致。
读法:从 抽出来的点永远不会超过 而从 抽出来的点以概率 超过 「抽到的点 是最能区分两个分布的事件。
数值表(再加一个 看趋势):
| 高度 | 绝对误差 | 最大事件误差 | 取到最大误差的事件 | ||
|---|---|---|---|---|---|
| 1 | 2 | 1 | 或 | ||
| 4 | 或 | ||||
| 9 | 或 | ||||
| 99 | 或 |
时 和 在 上完全不重叠,最大误差达到 随着 增大,误差按 的速度下降。
例子
最大误差上界 用第 1 步的公式
| 事件 | 差 | ||
|---|---|---|---|
| 0.5 | |||
| 0.5 | |||
| 0.3 | |||
| 1 | 0.8 | ||
| 0 | 0.2 |
所有误差都不超过 只有 和它的补集达到 像 这样同时包含「抬高」和「挖空」两段的事件,两种误差部分抵消。
设 服从 上的均匀分布,令
- 服从 上的均匀分布:对 正是密度 积出来的分布函数。
- 两者非常接近: 对每个样本点成立。
- 事件 的概率是 而 是不可能事件。这正是取到最大误差的事件。
仍取 为均匀分布,令 (把 向下取到 的整数倍)。
- 对每个样本点成立,收敛得和例 2 一样好。
- 但 只取有理数,所以 而 (有理数可数,长度为 0)。事件「取值是有理数」上的概率差是 1,总变差距离恒为 1。
- 原因: 的分布是离散的,对 没有密度,Scheffé 引理的设定根本不成立。本页的结论依赖于「 是对同一个 的密度,并且逐点收敛」,而不是「随机变量逐点收敛」。
推导:一步一步来
误差的两个来源一样大。 绝对误差 由两块组成:
- 高度误差:在长度 的区间上每点高了 面积
- 缺失质量:在长度 的区间上完全没有质量,面积
两块相等不是巧合,而是两个密度都归一化的直接后果(正部 = 负部)。如果只把高度抬高、不挖空右端,总面积就会超过 1, 不再是密度。
为什么误差是 量级。 在大部分地方是 (小),在一小段上是 1(大),但那一小段的长度是 两者都随 以 的速度缩小。对照逐点收敛: 始终不变。 误差看的是面积,不是最大高度差,所以「最坏的点」的误差不缩小,不妨碍面积缩小。
用重叠面积再算一次。 在 上, 在 上,重叠面积 由 第 23 页、第 24 页:总变差 三种算法结果一致。
常见疑问与易错点
答:这里有三种不同的「收敛」。一致收敛(最大高度差趋于 0)不成立;逐点收敛(每个固定的 上收敛)成立; 收敛(面积误差趋于 0)也成立。Scheffé 引理只需要逐点收敛,就能推出 收敛。高度差为 1 的区域长度只有 对面积、对概率的影响都越来越小。
答:不会。 要到 才开始有 越靠近 1 越慢,但每个固定的点最终都会收敛,这就是逐点收敛。Scheffé 引理不要求各点收敛得一样快。
答:两个都是。 在 上等于 在 上等于 总变差取的是绝对值的上确界,两者一样大。一般地,若 取到最大误差,它的补集 也取到:
答:不一定(例 3)。总变差比较的是每个事件的概率,包括「取值是有理数」这种很「细」的事件。离散分布和连续分布无论多接近,总有这样的事件把它们区分开。只有两者都有对同一个 的密度、并且密度逐点收敛时,Scheffé 引理才保证总变差趋于 0。
小结与自测
- 设定: 是 上均匀分布的密度。
- 归一化:逐点收敛: 后 (不一致)。
- 绝对误差:正部、负部各
- 最大事件误差 在 和它的补集上取到; 时分别是
1. 取 求 绝对误差和最大事件误差,并写出一个取到最大误差的事件。
点开看答案
绝对误差 最大事件误差 在 上取到:
2. 要让每个事件的概率误差都不超过 至少要多大?
点开看答案
最大事件误差是 要求 即
3. 取 计算事件 上的误差 并检查它不超过最大误差。
点开看答案
长度 0.4; 长度 0.1。由公式 绝对值 直接验证:差约
| 中文 | English | 白话解释 |
|---|---|---|
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 补集 | complement | 样本空间里不属于 A 的元素全体,记作 Aᶜ,对应「A 不发生」。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| Scheffé 引理 | Scheffé's lemma | 非负可积的 fₙ → f 几乎处处,且 ∫fₙ → ∫f < ∞,则 ∫|fₙ − f| → 0。概率密度逐点收敛,分布就在全变差意义下收敛。 |
| 逐点收敛 | pointwise convergence | 对定义域里的每一个点 x,数列 fₙ(x) 都收敛到 f(x);这样得到的函数 f 叫逐点极限。 |
| 正部 | positive / negative part | f⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。 |
| 简单函数 | simple function | 只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 上确界 | supremum (sup) | 最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。 |
| 测度空间 | measure space | 三元组 (S, 𝓜, μ):空间、σ-代数、测度。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 几乎处处 | almost everywhere (a.e.) | 除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 样本点 | sample point | 一个完整的结局 ω;每次试验恰好实现一个样本点。 |
| 有理数 | rational number | 能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 一致收敛 | uniform convergence | 所有点上的最大差距 supₓ |fₙ(x) − f(x)| → 0。比逐点收敛强:不允许某些点收敛得特别慢。 |