高等概率论逐页精讲

第 3 讲 Borel–Cantelli、收敛与 Radon–Nikodym›第 4 部分 Radon–Nikodym 与换测度

PDF 第 27 / 47 页幻灯片 27/49定理

Radon–Nikodym 定理:绝对连续就一定有密度

Radon–Nikodym for probability measures

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

上一页证明了「有密度 ⇒ 绝对连续」。Radon–Nikodym 定理说反过来也对:只要 就一定存在一个密度 使得 对所有事件成立。 这个 记作

  • 这是第 4 部分的核心定理。上一页 第 26 页 问「什么时候能写 这一页给出完整回答:恰好在 的时候。
  • 定理的一般证明需要本课没有讲的工具,所以本站把它当作已知结论使用;但我们会(1)把离散情形完整证明一遍,(2)用「导数 = 比值的极限」解释它为什么叫「导数」,(3)说明它后面怎么用。
  • 下一页 第 28 页 证明这个密度在「几乎必然」意义下唯一;第 32 页用它把 下的期望换成 下的期望。

先补基础

基础补课「存在」型定理在说什么
  • 「存在一个 使得……」只保证有这么一个函数,不一定告诉你它长什么样。这类定理叫存在性定理。
  • 在具体例子里,我们通常先猜出 再验证它满足条件(第 31、41 页都是这样做的);存在性定理保证「只要 这样的 一定能找到」,不会白找。
基础补课导数就是「比值的极限」
  • 中学的导数:也就是「 的增量 ÷ 的增量」在增量趋于 0 时的极限。
  • 如果 表示区间 上的「质量」,那么 就是小区间 上的质量, 是这个小区间的长度。所以导数 = 小区间上的质量 ÷ 小区间的长度,在区间缩小时的极限,也就是「质量密度」。
  • 例:
基础补课几乎必然(a.s.)
  • 「-a.s.」是 almost surely 的缩写,读作「-几乎必然」:某个性质除了一个 -零概率事件以外都成立。
  • 例:在 上均匀取点,「取到的数是无理数」几乎必然成立,因为有理数的全体长度为 0。

课件原文逐句精读

课件原文课件印刷文字

Theorem 18 (Radon–Nikodym)

中文翻译

定理 18(Radon–Nikodym 定理)

  • 这一页课件只印了定理的名字,正文全部是课上板书,下一节补出来。
  • 蓝条标题 Radon–Nikodym for probability measures 意思是「概率测度版本的 Radon–Nikodym 定理」。一般教材里这个定理是对更一般的测度(允许总量为无穷)叙述的,本课只需要 都是概率的情形,叙述和记号都简单很多。
  • 名字来自两位数学家:奥地利的 Johann Radon(1913 年在 上证明)和波兰的 Otto Nikodym(1930 年推广到一般测度空间)。

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

Theorem 18 (Radon–Nikodym)|定理 18(Radon–Nikodym 定理)

定理 18(Radon–Nikodym,概率版)

设 是 上的概率测度,且 那么存在一个 -可测函数 满足 并且

这样的 在 -几乎必然的意义下唯一(第 28 页),称为 关于 的 Radon–Nikodym 导数(或密度、似然比),记作

逐条理解:

  • 条件只有一个: 不需要 是实数轴、不需要任何连续性。 可以是抛硬币序列、价格路径、任何抽象空间。
  • 是 -可测的:保证 能对 积分(第 29 页)。
  • 取有限的非负值:非负是因为概率非负;「有限」可以做到,是因为 蕴含 几乎必然成立,把 的那个零概率事件上的值改成 0 不影响任何积分。
  • 不是额外要求:取 就得到
  • 记号 :它不是真的分数,只是一个名字。但这个名字很好用,因为把 写成 「 像被约掉了一样」。第 34 页的链式法则也有这种「约分」的样子。

把两页合起来,我们得到本部分最重要的等价关系:

「⇐」是 第 26 页 的命题,「⇒」是定理 18。

关于证明:本课把它当作已知结论

易错点这里把定理 18 当作已知结论使用

定理 18 在一般的 上的证明需要本课没有讲过的工具(例如希尔伯特空间的 Riesz 表示定理、Hahn 分解,或者鞅收敛定理),超出本课范围。本站不证明一般情形,只在下面「推导」一节完整证明离散情形,并解释直觉。后面各页用到它时,都是直接引用这个结论。

它为什么对?下面给三个角度的理解。

角度一:离散情形, 就是逐点的比值。 若 可数(有限或者能排成一列),令

在 的点令 绝对连续保证这些点上 也是 0,所以不会出现「分母是 0、分子不是 0」的问题。完整验证见下面「推导」一节。

角度二:连续情形, 是「小集合上的概率比」的极限。 取 设 的分布函数 可导。小区间 上

所以 一般地, 可以理解成「 附近很小的事件上, 的概率 ÷ 的概率」,这正是「导数」这个名字的来源。

角度三:绝对连续为什么是必需的。 若 而 角度一的比值就是「正数 ÷ 0」,相当于要求 可是在零概率事件上取无穷大,积分仍然是 0(第 43 页),还是凑不出 绝对连续恰好排除了这种「分母为 0、分子不为 0」的情形。

一般测度版本、反例与证明方法(选读)
  • 一般版本:设 是 上的 σ-有限测度( 能拆成可数个测度有限的块,例如 上的长度),且 则存在可测 使 在 -几乎处处意义下唯一。第 2 讲 第 17 页「有密度 ⟺ 关于勒贝格测度绝对连续」就是 的情形。
  • σ-有限不能去掉:在 上取 为计数测度( 等于 的元素个数),只有空集的计数为 0,所以 平凡成立。若有 使 取 得 对每个 成立,于是 矛盾。计数测度在 上不是 σ-有限的,定理失效。概率测度总量为 1,自动没有这个问题。
  • 证明方法:Durrett 与 Billingsley 用 Hahn 分解;von Neumann 用希尔伯特空间的 Riesz 表示定理;Williams《Probability with Martingales》第 14 章用鞅收敛定理(思路是:把 越分越细,在每一格上取比值 这些分段常数函数收敛到 就是下面例 3 的做法)。
  • 不绝对连续时:任何概率 都能唯一地拆成 前者关于 绝对连续,后者集中在一个 -零概率事件上(Lebesgue 分解)。第 2 讲 第 20 页「三种质量」就是这个分解在实数轴上的样子。

定理 18 后面怎么用

  1. 换算期望:(第 32 页)。一个概率下的问题可以搬到另一个概率下去算。
  2. 重要性抽样:想算 下的期望,却故意从另一个概率 抽样,再用 做权重纠正(第 35 页、第 36–45 页)。
  3. 统计: 就是「数据在假设 下的可能性 ÷ 在假设 下的可能性」,即似然比检验里的似然比。
  4. 金融:衍生品定价里的「风险中性概率」 和真实世界概率 之间,就是用 联系的(第 31 页 的例子)。
  5. 后续课程:条件期望的存在性,标准教材(如 Durrett)就是用 Radon–Nikodym 定理证明的。

例子

例 1:三点空间上直接算出 L

(依次是三个点的概率)。

  • 每个点 所以只有空集是 -零概率事件, 成立。
  • 逐点比值:
  • 检查
  • 检查一个事件:一致。
例 2:由分布函数求 Radon–Nikodym 导数

的分布函数是

  • 用角度二:猜
  • 验证:所以 是一个概率(第 26 页)。它的分布函数是 和 的分布函数 完全一样。分布函数相同的两个概率在所有博雷尔集上都相同(CDF 记录了整个分布),所以这个概率就是
  • 结论:
例 3:把 Ω 越分越细,比值收敛到 L

沿用例 2(真正的 把 平均分成 格,在第 格 上取比值

看 所在的格:

所在格的 比值
1 0 0.5
2 1 0.75
3 2 0.625
5 9 0.59375
10 307 0.6006

比值越来越接近 这就是「Radon–Nikodym 导数」的直观含义。

例 4(反例):一半连续、一半点质量

(以 的概率均匀取点,以 的概率直接取

  • 但 所以 定理 18 的条件不满足。
  • 确实不存在密度:任何 在单点 上对 的积分都是 0,不是
  • 用 Lebesgue 分解的话:(密度

推导:一步一步来

推导证明思路(离散情形的完整证明)

设 可数、逐点定义 再用可数可加性把「单点上的等式」加成「任意事件上的等式」。

设 (有限或可数无穷),

  1. 定义 : 时令 时令 非负、有限;因为 任何函数都可测。
  2. 单点上的等式:对每个 都有
    • 若 由 的定义两边相等;
    • 若 由 得 右边是
  3. 任意事件上的等式:取 是可数个单点的不交并,由 的可数可加性,
  4. 右边就是积分: 是可数个非负函数之和。和 第 26 页 可数可加性的证明完全一样(部分和非负递增,用 MCT),得
  5. 结论:第 3、4 步给出 对所有 成立;取 得

注意第 1 步在 的点上 的值是随便取的(取 0、取 7 都行),这正是下一页「只在几乎必然意义下唯一」的原因。

常见疑问与易错点

易错点问:既然叫「导数」,dℚ/dℙ 能像分数一样随便约分吗?

答:不能随便约。 是一个函数的名字,不是两个数相除。像「这样看起来像约分的公式,每一个都要单独证明,而且要求相应的绝对连续条件成立(第 34 页)。

易错点问:dℚ/dℙ 一定是有界的吗?

答:不一定。例: 的分布函数 则 在 0 附近趋于无穷。但它的积分 是有限的。定理只保证 可积,不保证有界。第 29 页的「截断」技巧就是为了处理无界的

易错点问:定理 18 是不是就是定义 17 换个说法?

答:不是。定义 17 只说「零对零」,是一个关于零概率事件的很弱的条件;定理 18 却从这个弱条件推出「所有事件的 -概率都能由一个函数 统一算出」,这是很强的结论,一般情形的证明并不简单。

易错点问:密度 L 可以取 0 吗?

答:可以。 表示 在那里「不放质量」,例如 第 26 页 例 4 的 在右半边为 0。 在一个正概率事件上等于 0 时,反方向的 就不成立了,这是第 35 页的话题。

小结与自测

小结本页小结
  • 定理 18: ⇒ 存在可测的 使 对所有 成立;记
  • 与上一页合起来:绝对连续 ⟺ 有密度。
  • 一般证明超出本课,当作已知结论使用;离散情形 可以完整证明。
  • 直觉:「 附近小事件上 概率 ÷ 概率」,所以叫「导数」。
自测

1. 成立吗?写出一个

点开看答案

的零概率事件只有 和 而 所以 可以取任意非负数(例如 0),因为 它不影响任何积分。

2. 同上,但 为什么不存在密度?

点开看答案

而 所以 任何 都有 凑不出

3. 的分布函数 求 并验证它的 -期望是 1。

点开看答案

(所以 (在单点 0 上取什么值都行)。它无界,但可积。

本页术语中英对照(按出现顺序)
中文English白话解释
绝对连续absolute continuity函数版:小区间总长很小时增量总和也很小;测度版:Q ≪ P,P 为零的事件 Q 也为零。
Radon–Nikodym 导数Radon–Nikodym derivativeQ ≪ P 时存在 L = dQ/dP ≥ 0,使 Q(A) = ∫_A L dP;它是「换测度的密度」。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
几乎必然收敛almost sure convergence除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
概率测度probability measure总质量 P(Ω) = 1 的测度。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
测度空间measure space三元组 (S, 𝓜, μ):空间、σ-代数、测度。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
等价关系equivalence relation满足自反、对称、传递的「相似」关系,能把集合分成互不重叠的等价类。
鞅martingale适应、可积且 E[Xₙ₊₁ | 𝓕ₙ] = Xₙ 的随机过程:公平游戏,已知过去时对下一步的最佳猜测就是现在的值。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
σ-有限σ-finite整个空间能切成可数多块测度有限的部分。概率测度、长度都满足;不可数集上的计数测度不满足。
几乎处处almost everywhere (a.e.)除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。
计数测度counting measureμ(A) = A 中元素的个数(无限集记为 ∞)。在 ℕ 上对它积分就是求和。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
重要性抽样importance sampling从另一个更合适的分布抽样,再乘以权重纠正,从而减小估计的方差。
条件期望conditional expectationE[X | 𝓕] 是已知 σ-代数 𝓕 中的信息时对 X 的最佳猜测;它本身是一个 𝓕-可测的随机变量。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
可数可加性countable additivity两两不交的可数个集合,并集的测度等于各自测度之和。
部分和partial sum级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。
单调收敛定理monotone convergence theorem (MCT)非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。
可积integrable (L¹)∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。