这一页在讲什么
上一页证明了「有密度 ⇒ 绝对连续」。Radon–Nikodym 定理说反过来也对:只要 就一定存在一个密度 使得 对所有事件成立。 这个 记作
- 这是第 4 部分的核心定理。上一页 第 26 页 问「什么时候能写 这一页给出完整回答:恰好在 的时候。
- 定理的一般证明需要本课没有讲的工具,所以本站把它当作已知结论使用;但我们会(1)把离散情形完整证明一遍,(2)用「导数 = 比值的极限」解释它为什么叫「导数」,(3)说明它后面怎么用。
- 下一页 第 28 页 证明这个密度在「几乎必然」意义下唯一;第 32 页用它把 下的期望换成 下的期望。
先补基础
- 中学的导数:也就是「 的增量 ÷ 的增量」在增量趋于 0 时的极限。
- 如果 表示区间 上的「质量」,那么 就是小区间 上的质量, 是这个小区间的长度。所以导数 = 小区间上的质量 ÷ 小区间的长度,在区间缩小时的极限,也就是「质量密度」。
- 例:
- 「-a.s.」是 almost surely 的缩写,读作「-几乎必然」:某个性质除了一个 -零概率事件以外都成立。
- 例:在 上均匀取点,「取到的数是无理数」几乎必然成立,因为有理数的全体长度为 0。
课件原文逐句精读
Theorem 18 (Radon–Nikodym)
定理 18(Radon–Nikodym 定理)
- 这一页课件只印了定理的名字,正文全部是课上板书,下一节补出来。
- 蓝条标题 Radon–Nikodym for probability measures 意思是「概率测度版本的 Radon–Nikodym 定理」。一般教材里这个定理是对更一般的测度(允许总量为无穷)叙述的,本课只需要 都是概率的情形,叙述和记号都简单很多。
- 名字来自两位数学家:奥地利的 Johann Radon(1913 年在 上证明)和波兰的 Otto Nikodym(1930 年推广到一般测度空间)。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
Theorem 18 (Radon–Nikodym)|定理 18(Radon–Nikodym 定理)
逐条理解:
- 条件只有一个: 不需要 是实数轴、不需要任何连续性。 可以是抛硬币序列、价格路径、任何抽象空间。
- 是 -可测的:保证 能对 积分(第 29 页)。
- 取有限的非负值:非负是因为概率非负;「有限」可以做到,是因为 蕴含 几乎必然成立,把 的那个零概率事件上的值改成 0 不影响任何积分。
- 不是额外要求:取 就得到
- 记号 :它不是真的分数,只是一个名字。但这个名字很好用,因为把 写成 「 像被约掉了一样」。第 34 页的链式法则也有这种「约分」的样子。
把两页合起来,我们得到本部分最重要的等价关系:
「⇐」是 第 26 页 的命题,「⇒」是定理 18。
关于证明:本课把它当作已知结论
定理 18 在一般的 上的证明需要本课没有讲过的工具(例如希尔伯特空间的 Riesz 表示定理、Hahn 分解,或者鞅收敛定理),超出本课范围。本站不证明一般情形,只在下面「推导」一节完整证明离散情形,并解释直觉。后面各页用到它时,都是直接引用这个结论。
它为什么对?下面给三个角度的理解。
角度一:离散情形, 就是逐点的比值。 若 可数(有限或者能排成一列),令
在 的点令 绝对连续保证这些点上 也是 0,所以不会出现「分母是 0、分子不是 0」的问题。完整验证见下面「推导」一节。
角度二:连续情形, 是「小集合上的概率比」的极限。 取 设 的分布函数 可导。小区间 上
所以 一般地, 可以理解成「 附近很小的事件上, 的概率 ÷ 的概率」,这正是「导数」这个名字的来源。
角度三:绝对连续为什么是必需的。 若 而 角度一的比值就是「正数 ÷ 0」,相当于要求 可是在零概率事件上取无穷大,积分仍然是 0(第 43 页),还是凑不出 绝对连续恰好排除了这种「分母为 0、分子不为 0」的情形。
一般测度版本、反例与证明方法(选读)
- 一般版本:设 是 上的 σ-有限测度( 能拆成可数个测度有限的块,例如 上的长度),且 则存在可测 使 在 -几乎处处意义下唯一。第 2 讲 第 17 页「有密度 ⟺ 关于勒贝格测度绝对连续」就是 的情形。
- σ-有限不能去掉:在 上取 为计数测度( 等于 的元素个数),只有空集的计数为 0,所以 平凡成立。若有 使 取 得 对每个 成立,于是 矛盾。计数测度在 上不是 σ-有限的,定理失效。概率测度总量为 1,自动没有这个问题。
- 证明方法:Durrett 与 Billingsley 用 Hahn 分解;von Neumann 用希尔伯特空间的 Riesz 表示定理;Williams《Probability with Martingales》第 14 章用鞅收敛定理(思路是:把 越分越细,在每一格上取比值 这些分段常数函数收敛到 就是下面例 3 的做法)。
- 不绝对连续时:任何概率 都能唯一地拆成 前者关于 绝对连续,后者集中在一个 -零概率事件上(Lebesgue 分解)。第 2 讲 第 20 页「三种质量」就是这个分解在实数轴上的样子。
定理 18 后面怎么用
- 换算期望:(第 32 页)。一个概率下的问题可以搬到另一个概率下去算。
- 重要性抽样:想算 下的期望,却故意从另一个概率 抽样,再用 做权重纠正(第 35 页、第 36–45 页)。
- 统计: 就是「数据在假设 下的可能性 ÷ 在假设 下的可能性」,即似然比检验里的似然比。
- 金融:衍生品定价里的「风险中性概率」 和真实世界概率 之间,就是用 联系的(第 31 页 的例子)。
- 后续课程:条件期望的存在性,标准教材(如 Durrett)就是用 Radon–Nikodym 定理证明的。
例子
(依次是三个点的概率)。
- 每个点 所以只有空集是 -零概率事件, 成立。
- 逐点比值:
- 检查
- 检查一个事件:一致。
的分布函数是
- 用角度二:猜
- 验证:所以 是一个概率(第 26 页)。它的分布函数是 和 的分布函数 完全一样。分布函数相同的两个概率在所有博雷尔集上都相同(CDF 记录了整个分布),所以这个概率就是
- 结论:
沿用例 2(真正的 把 平均分成 格,在第 格 上取比值
看 所在的格:
| 所在格的 | 比值 | |
|---|---|---|
| 1 | 0 | 0.5 |
| 2 | 1 | 0.75 |
| 3 | 2 | 0.625 |
| 5 | 9 | 0.59375 |
| 10 | 307 | 0.6006 |
比值越来越接近 这就是「Radon–Nikodym 导数」的直观含义。
(以 的概率均匀取点,以 的概率直接取
- 但 所以 定理 18 的条件不满足。
- 确实不存在密度:任何 在单点 上对 的积分都是 0,不是
- 用 Lebesgue 分解的话:(密度
推导:一步一步来
设 可数、逐点定义 再用可数可加性把「单点上的等式」加成「任意事件上的等式」。
设 (有限或可数无穷),
- 定义 : 时令 时令 非负、有限;因为 任何函数都可测。
- 单点上的等式:对每个 都有
- 若 由 的定义两边相等;
- 若 由 得 右边是
- 任意事件上的等式:取 是可数个单点的不交并,由 的可数可加性,
- 右边就是积分: 是可数个非负函数之和。和 第 26 页 可数可加性的证明完全一样(部分和非负递增,用 MCT),得
- 结论:第 3、4 步给出 对所有 成立;取 得
注意第 1 步在 的点上 的值是随便取的(取 0、取 7 都行),这正是下一页「只在几乎必然意义下唯一」的原因。
常见疑问与易错点
答:不能随便约。 是一个函数的名字,不是两个数相除。像「这样看起来像约分的公式,每一个都要单独证明,而且要求相应的绝对连续条件成立(第 34 页)。
答:不一定。例: 的分布函数 则 在 0 附近趋于无穷。但它的积分 是有限的。定理只保证 可积,不保证有界。第 29 页的「截断」技巧就是为了处理无界的
答:不是。定义 17 只说「零对零」,是一个关于零概率事件的很弱的条件;定理 18 却从这个弱条件推出「所有事件的 -概率都能由一个函数 统一算出」,这是很强的结论,一般情形的证明并不简单。
小结与自测
- 定理 18: ⇒ 存在可测的 使 对所有 成立;记
- 与上一页合起来:绝对连续 ⟺ 有密度。
- 一般证明超出本课,当作已知结论使用;离散情形 可以完整证明。
- 直觉:「 附近小事件上 概率 ÷ 概率」,所以叫「导数」。
1. 成立吗?写出一个
点开看答案
的零概率事件只有 和 而 所以 可以取任意非负数(例如 0),因为 它不影响任何积分。
2. 同上,但 为什么不存在密度?
点开看答案
而 所以 任何 都有 凑不出
3. 的分布函数 求 并验证它的 -期望是 1。
点开看答案
(所以 (在单点 0 上取什么值都行)。它无界,但可积。
| 中文 | English | 白话解释 |
|---|---|---|
| 绝对连续 | absolute continuity | 函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。 |
| Radon–Nikodym 导数 | Radon–Nikodym derivative | Q ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 有理数 | rational number | 能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。 |
| 概率测度 | probability measure | 总质量 P(Ω) = 1 的测度。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 测度空间 | measure space | 三元组 (S, 𝓜, μ):空间、σ-代数、测度。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 等价关系 | equivalence relation | 满足自反、对称、传递的「相似」关系,能把集合分成互不重叠的等价类。 |
| 鞅 | martingale | 适应、可积且 E[Xₙ₊₁ | 𝓕ₙ] = Xₙ 的随机过程:公平游戏,已知过去时对下一步的最佳猜测就是现在的值。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| σ-有限 | σ-finite | 整个空间能切成可数多块测度有限的部分。概率测度、长度都满足;不可数集上的计数测度不满足。 |
| 几乎处处 | almost everywhere (a.e.) | 除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。 |
| 勒贝格测度 | Lebesgue measure | 实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。 |
| 计数测度 | counting measure | μ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。 |
| 元素 | element | 集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 重要性抽样 | importance sampling | 从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。 |
| 条件期望 | conditional expectation | E[X | 𝓕] 是已知 σ-代数 𝓕 中的信息时对 X 的最佳猜测;它本身是一个 𝓕-可测的随机变量。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 可数可加性 | countable additivity | 两两不交的可数个集合,并集的测度等于各自测度之和。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |