高等概率论逐页精讲

第 2 讲 随机变量、期望与不等式›第 2 部分 用 CDF 计算期望

PDF 第 14 / 32 页幻灯片 14/33定义

逆变换法可以构造任何实值分布

Inverse transform constructs every real law

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

给定任何一个 CDF 定义它的「广义反函数」——「累积概率第一次达到 的位置」。把一个 上的均匀随机数 代进去, 的 CDF 恰好就是 。所以只要会抽均匀随机数,就能造出任何实值分布。

  • 位置:第 2 部分「用 CDF 计算期望」的第 7 页,开始「分位数三页」(本页定义,第 15 页 指数分布,第 16 页 Pareto 分布)。
  • 要解决的问题:第 8 页说「CDF 决定分布」,还留了一个尾巴——任何满足三条性质(单调不减、右连续、两端极限 0 和 1)的函数,是不是都是某个随机变量的 CDF?本页用构造回答:是,而且构造的方法很具体。
  • 为什么要 inf: 可能有跳跃(方程 无解),也可能有平台(方程有无穷多个解),普通的反函数 不存在。下确界 inf 同时解决了这两个问题。
  • 用途:计算机模拟(随机数生成)的标准方法;理论上把「任意分布」化归为「均匀分布」,第 16 页还用它判断矩是否有限。

先补基础

基础补课下确界 inf
  • 实数集合 的下界是一个数 满足「 里每个元素都 下确界 是最大的下界。
  • 例:下确界属于集合,此时它就是最小值 下确界不属于集合,这个集合没有最小值。所以 inf 比 min 更「保险」:有下界的非空实数集一定有下确界(实数的完备性),却不一定有最小值。
  • 约定:集合没有下界时 (例如 空集
  • 一个常用事实:若 是有限数,则对每个 存在 使 (否则 也是下界,比 还大,矛盾)。所以总能在 里找到一列点从右边逼近
基础补课均匀分布 Unif(0, 1)

指 (取值在 里。标准的构造:在 上令 则 (第 16 页开头也是这个舞台)。本页只用一条: 时

基础补课记号 F←、反函数与单调函数
  • 若 连续且严格递增,方程 对每个 有唯一解,记作 叫反函数。例:(解 得
  • 课件的 (读作「F 的左箭头逆」)是广义反函数(generalized inverse)的常用记号。箭头提醒你:它不是真正的反函数,只是「反着读」 的一种约定。
  • 单调不减函数是博雷尔可测的: 只能是一个区间(第 10 页基础补课里对 用过同样的论证)。本页会直接算出这个区间。

课件原文逐句精读

课件原文Inverse transform constructs every real law

Definition 13 (Generalized quantile) Let be nondecreasing, right-continuous, with limits 0 and 1. For define

For a random variable , write .

Inverse-transform method If and , then . The key equivalence is

中文翻译

蓝条标题:逆变换法能构造出每一个实值分布。

定义 13(广义分位数) 设 单调不减、右连续,两端极限为 0 和 1。对 定义

对随机变量 记

逆变换法 若 则 关键的等价关系是

(证明课件留白,见下一节。)

① Let F be nondecreasing, right-continuous, with limits 0 and 1|对 F 的三个要求

  • 这正是第 8 页命题 A 里 CDF 的三条性质。注意这里没有说 是某个随机变量的 CDF,只说它是满足三条性质的函数。本页的结论是:这样的函数一定是某个随机变量的 CDF。
  • 三条性质各有用处:单调保证集合 是一条「向右无限延伸」的半直线;两端极限保证它非空、有下界,inf 是有限数;右连续保证 inf 能取到(见下面的引理)。

② For u ∈ (0, 1) define Q_F(u) := inf{x : F(x) ≥ u}|广义分位数

  • 分位数(quantile):-分位数是「把概率切到 的位置」。例如 时是中位数:左边有一半的概率。
  • 读法: 是「累积概率已经达到 的所有位置, 是其中最左边的那个——「累积概率第一次达到 的地方」。
  • 为什么只对 : 时所有 都满足 时集合可能是空集(例如指数分布 对所有 成立),两端都不是实数,所以排除。
  • generalized(广义): 连续且严格递增时, 就是普通反函数 一般情形下它仍然有定义。

③ For a random variable X, write Q_X := Q_{F_X}|记号

随机变量 的分位数函数,就是它的 CDF 的分位数函数。例如 是 的(最小的)中位数。

④ Inverse-transform method|逆变换法

  • If and , then :把均匀随机数送进 出来的随机变量的 CDF 就是 「逆变换」的意思是: 把 变成概率 反过来把概率 变回
  • The key equivalence(关键等价):它把关于 的不等式翻译成关于 的不等式。整个逆变换法只靠这一行:

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

引理(inf 能取到)

设 满足定义 13 的三个条件,则 是有限实数,并且

定理(关键等价与逆变换法)

设 满足定义 13 的三个条件。

  1. 对所有 和
  2. 在 上单调不减,因此博雷尔可测。
  3. 若 则 是实值随机变量,且
  4. 推论:每个满足三条性质的函数都是某个随机变量的 CDF;对任何实值随机变量 与 同分布。
推导证明思路

先证引理:集合 「往右封闭」,所以是一条半直线;两端极限说明它非空、有下界;右连续说明它包含左端点。有了引理,关键等价就是「 属于这条半直线」的两种说法。逆变换法只需把关键等价代入

第 1 步: 往右封闭。 记 若 且 则由单调性 所以 也就是说: 里一个点右边的所有点也都在 里。

第 2 步: 非空、有下界,inf 是有限数。

  • 非空:所以存在某个 使
  • 有下界:所以存在某个 使 对任何 所以 里的点都 是一个下界。

有下界的非空集合有有限的下确界,所以

第 3 步:右连续让 inf 取到。 记 由 inf 的性质(基础补课),存在 把 换成 因为 由第 1 步 即 令 由右连续

所以 再由第 1 步,又 里的点都 ( 是下界),所以 两边包含,引理得证。

第 4 步:关键等价。 由引理,

第 5 步:单调与可测。 若 则 推出 所以 小集合的下确界不小于大集合的下确界,可测性可以直接算:由关键等价,对每个

是一个区间(可能是空集),属于博雷尔集。由半直线生成博雷尔 σ-代数(第 4 页), 博雷尔可测。

第 6 步:逆变换法。 取值在 里, 是可测函数与随机变量的复合,是随机变量(第 4 页)。对任意

第二个等号:两个事件逐点相同(第 4 步,对每个 代入 第三个等号:而

第 7 步:推论。 给定满足三条性质的 第 6 步造出的 的 CDF 就是 所以 是一个 CDF。对随机变量 的 CDF 是 由第 8 页定理 C, 与 同分布。证毕。

为什么用 ≥ 而不是 >

若定义 在没有平台的地方它与 相同;在平台高度 处, 取平台左端, 取平台右端。平台的高度至多可数个(不同的平台互不相交,每个平台的内部至少含一个有理数,于是可以用有理数给平台编号),所以 的概率为 1,两者给出同一个分布。课件选 是因为只有这样才有干净的「关键等价」;用 时第 3 步的「inf 取到」会失败。

一个顺带的公式:期望 = 分位数函数的积分

在标准舞台 上, 与原来的 同分布,期望只依赖分布(第 7 页),所以

第 13 页最后用它第三次核对了 第 16 页用它判断 Pareto 分布哪些矩有限。

图解

图解:「横着走,碰到就往下落」

课件这里没有图。用一张 CDF 的图就能求

  1. 在纵轴上找到高度 从左往右画一条水平线。
  2. 一直走到第一次碰到 的图像为止。跳跃处要把竖直的缺口也看成图像的一部分(从 到 的竖线段)。
  3. 从碰到的点竖直往下落到横轴,落点就是

三种情形:

  • 斜坡( 连续严格递增):水平线恰好碰到一个点, 就是方程 的唯一解,与普通反函数相同。
  • 跳跃( 在 处从 跳到 所有 的水平线都碰到 处的竖直缺口,全部落到 这一段 的长度 ——原子被原样复制出来。此时方程 无解,普通反函数不存在。
  • 平台( 在 上等于常数 高度 的水平线在 处第一次碰到图像,落到 稍高一点的 直接越过整个平台。所以没有 落在 里——平台上本来就没有概率。此时方程 有无穷多个解,inf 选了最左边那个。
动手试一试逆变换:拖动 u,看落点 Q(u)

先选「离散:取 0、1、2 的概率为 0.2、0.5、0.3」,把 从 0.01 拖到 0.99: 时落在 0, 时落在 1,之后落在 2——三段 的长度正是三个原子的概率。再选「混合型」和「指数分布」,对照上面说的跳跃、平台、斜坡三种情形。

例子

例 1:三点分布——跳跃处的 inf

取 概率 时 0, 上 上 时 1。按定义逐段求

  • 当且仅当 ( 时
  • 时 时
  • 只有 满足,

于是 三个概率都对上了。注意 这种「恰好等于平台高度」的点落在 0 而不是 1——这就是 的约定。

例 2:第 13 页的混合型分布

时 0, 上 上 时 1。

  • 时 所以
  • 上 在 上 而 所以

以概率 等于 0;以概率 等于 此时 在 上均匀, 在 上均匀。与第 13 页读出的结构完全一致。

例 3(反例):去掉右连续,关键等价就失败

((它单调、两端极限为 0 和 1,但在 0 处不右连续(第 8 页例 3)。对任何 但 inf 取不到(

  • 关键等价失败:取 左边 成立,右边 不成立。
  • 逆变换法失败:它的 CDF 在 0 处等于 1,不等于

所以定义里的「right-continuous」不是装饰,第 3 步的证明正是在这里用到它。

常见疑问与易错点

易错点问:Q_F 是 F 的反函数吗?Q_F(F(x)) = x 吗?

答:一般不是。只有 连续且严格递增时两者才互为反函数。例 1 中 而 ——平台上的点被「压」到了平台左端。反过来, 总成立(引理),但可以严格大于:例 1 中 这是因为 落在跳跃的缺口里。

易错点问:为什么用 inf 而不直接用 min?

答:定义的时候还不知道最小值存不存在——集合 有可能像 一样没有最小元(例 3)。用 inf 保证 总有定义;再用右连续证明 inf 恰好取到,所以对 CDF 而言 inf 就是 min。先用稳妥的定义,再证明它有好性质,这是数学里常见的做法。

易错点问:逆变换法里 U 必须定义在 (0, 1) 这个具体的 Ω 上吗?

答:不必。任何概率空间上的任何 都行,证明只用了 若 偶尔(概率 0)取到 0 或 1,在那个零概率事件上随便给 一个值即可,不影响分布。标准舞台 只是最方便的选择:在它上面,一个概率空间就能装下所有实值分布。

小结与自测

小结本页小结
  • 定义 13:「累积概率第一次达到 的位置」。
  • 引理:单调给出半直线,两端极限给出有限,右连续给出 inf 取到。
  • 关键等价 于是 每个满足三条性质的函数都是 CDF。
  • 图像:横着走、碰到图像(含跳跃缺口)就往下落;跳跃复制原子,平台上不落点。
自测

1. 伯努利分布 写出 并验证

点开看答案

时 0, 上 时 1。 时 时 所以

2. ( 时 0, 时 1。求 并说明如何用均匀随机数生成这个分布。

点开看答案

在 上连续严格递增,解 (得 所以 的 CDF 是

3. 在引理的证明里,哪一步用到了右连续?去掉它会出什么问题?

点开看答案

第 3 步:由 推出 用的是 去掉右连续,inf 可能取不到,集合变成 关键等价在 处失败,例 3 就是这种情况。

本页术语中英对照(按出现顺序)
中文English白话解释
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
分位数quantileQ(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
期望expectation随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。
指数分布exponential distributionP(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。
单调递增nondecreasing后一项不小于前一项;单调有界的数列一定有极限。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
反函数inverse functionf 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。
下确界infimum (inf)最大的下界。例如 (0,1] 没有最小值,但下确界是 0。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
下界lower bound数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
空集empty set一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
逆变换法inverse transform methodU 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。
等价关系equivalence relation满足自反、对称、传递的「相似」关系,能把集合分成互不重叠的等价类。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
两两不交pairwise disjoint一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。
有理数rational number能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。