这一页在讲什么
给定任何一个 CDF 定义它的「广义反函数」——「累积概率第一次达到 的位置」。把一个 上的均匀随机数 代进去, 的 CDF 恰好就是 。所以只要会抽均匀随机数,就能造出任何实值分布。
- 位置:第 2 部分「用 CDF 计算期望」的第 7 页,开始「分位数三页」(本页定义,第 15 页 指数分布,第 16 页 Pareto 分布)。
- 要解决的问题:第 8 页说「CDF 决定分布」,还留了一个尾巴——任何满足三条性质(单调不减、右连续、两端极限 0 和 1)的函数,是不是都是某个随机变量的 CDF?本页用构造回答:是,而且构造的方法很具体。
- 为什么要 inf: 可能有跳跃(方程 无解),也可能有平台(方程有无穷多个解),普通的反函数 不存在。下确界 inf 同时解决了这两个问题。
- 用途:计算机模拟(随机数生成)的标准方法;理论上把「任意分布」化归为「均匀分布」,第 16 页还用它判断矩是否有限。
先补基础
- 实数集合 的下界是一个数 满足「 里每个元素都 下确界 是最大的下界。
- 例:下确界属于集合,此时它就是最小值 下确界不属于集合,这个集合没有最小值。所以 inf 比 min 更「保险」:有下界的非空实数集一定有下确界(实数的完备性),却不一定有最小值。
- 约定:集合没有下界时 (例如 空集
- 一个常用事实:若 是有限数,则对每个 存在 使 (否则 也是下界,比 还大,矛盾)。所以总能在 里找到一列点从右边逼近
指 (取值在 里。标准的构造:在 上令 则 (第 16 页开头也是这个舞台)。本页只用一条: 时
- 若 连续且严格递增,方程 对每个 有唯一解,记作 叫反函数。例:(解 得
- 课件的 (读作「F 的左箭头逆」)是广义反函数(generalized inverse)的常用记号。箭头提醒你:它不是真正的反函数,只是「反着读」 的一种约定。
- 单调不减函数是博雷尔可测的: 只能是一个区间(第 10 页基础补课里对 用过同样的论证)。本页会直接算出这个区间。
课件原文逐句精读
Definition 13 (Generalized quantile) Let be nondecreasing, right-continuous, with limits 0 and 1. For define
For a random variable , write .
Inverse-transform method If and , then . The key equivalence is
蓝条标题:逆变换法能构造出每一个实值分布。
定义 13(广义分位数) 设 单调不减、右连续,两端极限为 0 和 1。对 定义
对随机变量 记
逆变换法 若 则 关键的等价关系是
(证明课件留白,见下一节。)
① Let F be nondecreasing, right-continuous, with limits 0 and 1|对 F 的三个要求
- 这正是第 8 页命题 A 里 CDF 的三条性质。注意这里没有说 是某个随机变量的 CDF,只说它是满足三条性质的函数。本页的结论是:这样的函数一定是某个随机变量的 CDF。
- 三条性质各有用处:单调保证集合 是一条「向右无限延伸」的半直线;两端极限保证它非空、有下界,inf 是有限数;右连续保证 inf 能取到(见下面的引理)。
② For u ∈ (0, 1) define Q_F(u) := inf{x : F(x) ≥ u}|广义分位数
- 分位数(quantile):-分位数是「把概率切到 的位置」。例如 时是中位数:左边有一半的概率。
- 读法: 是「累积概率已经达到 的所有位置, 是其中最左边的那个——「累积概率第一次达到 的地方」。
- 为什么只对 : 时所有 都满足 时集合可能是空集(例如指数分布 对所有 成立),两端都不是实数,所以排除。
- generalized(广义): 连续且严格递增时, 就是普通反函数 一般情形下它仍然有定义。
③ For a random variable X, write Q_X := Q_{F_X}|记号
随机变量 的分位数函数,就是它的 CDF 的分位数函数。例如 是 的(最小的)中位数。
④ Inverse-transform method|逆变换法
- If and , then :把均匀随机数送进 出来的随机变量的 CDF 就是 「逆变换」的意思是: 把 变成概率 反过来把概率 变回
- The key equivalence(关键等价):它把关于 的不等式翻译成关于 的不等式。整个逆变换法只靠这一行:
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
设 满足定义 13 的三个条件,则 是有限实数,并且
设 满足定义 13 的三个条件。
- 对所有 和
- 在 上单调不减,因此博雷尔可测。
- 若 则 是实值随机变量,且
- 推论:每个满足三条性质的函数都是某个随机变量的 CDF;对任何实值随机变量 与 同分布。
先证引理:集合 「往右封闭」,所以是一条半直线;两端极限说明它非空、有下界;右连续说明它包含左端点。有了引理,关键等价就是「 属于这条半直线」的两种说法。逆变换法只需把关键等价代入
第 1 步: 往右封闭。 记 若 且 则由单调性 所以 也就是说: 里一个点右边的所有点也都在 里。
第 2 步: 非空、有下界,inf 是有限数。
- 非空:所以存在某个 使
- 有下界:所以存在某个 使 对任何 所以 里的点都 是一个下界。
有下界的非空集合有有限的下确界,所以
第 3 步:右连续让 inf 取到。 记 由 inf 的性质(基础补课),存在 把 换成 因为 由第 1 步 即 令 由右连续
所以 再由第 1 步,又 里的点都 ( 是下界),所以 两边包含,引理得证。
第 4 步:关键等价。 由引理,
第 5 步:单调与可测。 若 则 推出 所以 小集合的下确界不小于大集合的下确界,可测性可以直接算:由关键等价,对每个
是一个区间(可能是空集),属于博雷尔集。由半直线生成博雷尔 σ-代数(第 4 页), 博雷尔可测。
第 6 步:逆变换法。 取值在 里, 是可测函数与随机变量的复合,是随机变量(第 4 页)。对任意
第二个等号:两个事件逐点相同(第 4 步,对每个 代入 第三个等号:而
第 7 步:推论。 给定满足三条性质的 第 6 步造出的 的 CDF 就是 所以 是一个 CDF。对随机变量 的 CDF 是 由第 8 页定理 C, 与 同分布。证毕。
为什么用 ≥ 而不是 >
若定义 在没有平台的地方它与 相同;在平台高度 处, 取平台左端, 取平台右端。平台的高度至多可数个(不同的平台互不相交,每个平台的内部至少含一个有理数,于是可以用有理数给平台编号),所以 的概率为 1,两者给出同一个分布。课件选 是因为只有这样才有干净的「关键等价」;用 时第 3 步的「inf 取到」会失败。
一个顺带的公式:期望 = 分位数函数的积分
图解
课件这里没有图。用一张 CDF 的图就能求
- 在纵轴上找到高度 从左往右画一条水平线。
- 一直走到第一次碰到 的图像为止。跳跃处要把竖直的缺口也看成图像的一部分(从 到 的竖线段)。
- 从碰到的点竖直往下落到横轴,落点就是
三种情形:
- 斜坡( 连续严格递增):水平线恰好碰到一个点, 就是方程 的唯一解,与普通反函数相同。
- 跳跃( 在 处从 跳到 所有 的水平线都碰到 处的竖直缺口,全部落到 这一段 的长度 ——原子被原样复制出来。此时方程 无解,普通反函数不存在。
- 平台( 在 上等于常数 高度 的水平线在 处第一次碰到图像,落到 稍高一点的 直接越过整个平台。所以没有 落在 里——平台上本来就没有概率。此时方程 有无穷多个解,inf 选了最左边那个。
先选「离散:取 0、1、2 的概率为 0.2、0.5、0.3」,把 从 0.01 拖到 0.99: 时落在 0, 时落在 1,之后落在 2——三段 的长度正是三个原子的概率。再选「混合型」和「指数分布」,对照上面说的跳跃、平台、斜坡三种情形。
例子
取 概率 时 0, 上 上 时 1。按定义逐段求
- 当且仅当 ( 时
- 时 时
- 只有 满足,
于是 三个概率都对上了。注意 这种「恰好等于平台高度」的点落在 0 而不是 1——这就是 的约定。
((它单调、两端极限为 0 和 1,但在 0 处不右连续(第 8 页例 3)。对任何 但 inf 取不到(
- 关键等价失败:取 左边 成立,右边 不成立。
- 逆变换法失败:它的 CDF 在 0 处等于 1,不等于
所以定义里的「right-continuous」不是装饰,第 3 步的证明正是在这里用到它。
常见疑问与易错点
答:一般不是。只有 连续且严格递增时两者才互为反函数。例 1 中 而 ——平台上的点被「压」到了平台左端。反过来, 总成立(引理),但可以严格大于:例 1 中 这是因为 落在跳跃的缺口里。
答:定义的时候还不知道最小值存不存在——集合 有可能像 一样没有最小元(例 3)。用 inf 保证 总有定义;再用右连续证明 inf 恰好取到,所以对 CDF 而言 inf 就是 min。先用稳妥的定义,再证明它有好性质,这是数学里常见的做法。
答:不必。任何概率空间上的任何 都行,证明只用了 若 偶尔(概率 0)取到 0 或 1,在那个零概率事件上随便给 一个值即可,不影响分布。标准舞台 只是最方便的选择:在它上面,一个概率空间就能装下所有实值分布。
小结与自测
- 定义 13:「累积概率第一次达到 的位置」。
- 引理:单调给出半直线,两端极限给出有限,右连续给出 inf 取到。
- 关键等价 于是 每个满足三条性质的函数都是 CDF。
- 图像:横着走、碰到图像(含跳跃缺口)就往下落;跳跃复制原子,平台上不落点。
1. 伯努利分布 写出 并验证
点开看答案
时 0, 上 时 1。 时 时 所以
2. ( 时 0, 时 1。求 并说明如何用均匀随机数生成这个分布。
点开看答案
在 上连续严格递增,解 (得 所以 的 CDF 是
3. 在引理的证明里,哪一步用到了右连续?去掉它会出什么问题?
点开看答案
第 3 步:由 推出 用的是 去掉右连续,inf 可能取不到,集合变成 关键等价在 处失败,例 3 就是这种情况。
| 中文 | English | 白话解释 |
|---|---|---|
| 累积分布函数 | cumulative distribution function (CDF) | F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。 |
| 分位数 | quantile | Q(u) = inf{x : F(x) ≥ u},是 CDF 的「广义反函数」。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 指数分布 | exponential distribution | P(X > x) = e^(−λx)(x ≥ 0)的分布,均值 1/λ,常用来描述等待时间。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 反函数 | inverse function | f 把不同的输入送到不同的输出时,反函数 f⁻¹ 把输出送回原来的输入:f⁻¹(f(x)) = x。例:ln 是 eˣ 的反函数。注意:集合的原像 f⁻¹(D) 不需要反函数存在。 |
| 下确界 | infimum (inf) | 最大的下界。例如 (0,1] 没有最小值,但下确界是 0。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 下界 | lower bound | 数集 A 的下界是一个数 m,A 里每个数都 ≥ m。例如 0 和 −3 都是 (0,1] 的下界;所有下界中最大的那个叫下确界。 |
| 元素 | element | 集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。 |
| 空集 | empty set | 一个元素也没有的集合,记作 ∅。作为事件,它永远不会发生。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 逆变换法 | inverse transform method | U 服从 (0,1) 上的均匀分布时,Q(U) 的分布函数恰好是 F,用来生成任意分布。 |
| 等价关系 | equivalence relation | 满足自反、对称、传递的「相似」关系,能把集合分成互不重叠的等价类。 |
| 博雷尔 σ-代数 | Borel sigma-algebra | 由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 两两不交 | pairwise disjoint | 一列集合中任意两个都没有公共元素,对应「任意两件事不会同时发生」。 |
| 有理数 | rational number | 能写成分数 p/q 的数,全体有理数记作 ℚ;它们可数,却在数轴上处处稠密。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 当且仅当 | if and only if (iff) | 「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |