这一页在讲什么
期望不是新东西:它就是第 1 讲的勒贝格积分,只不过积分用的测度是概率 。定义分两步:非负随机变量的期望总有定义(可以是 可正可负的随机变量拆成「正部 − 负部」,只要两部分不同时为无穷,期望就有定义。
- 位置:第 1 部分第 2 页。上一页 第 4 页 保证了随机变量是可测函数;本页说:可测函数就能积分,积分就是期望。
- 要解决的问题:中学里的两个公式 (离散)和 (有密度)各管一种情形,遇到「既有跳跃又有连续部分」的随机变量(第 13 页)就不够用。本页给出一个统一的定义,两个中学公式都是它的特例。
- 还要说清的事:期望什么时候不存在?什么叫可积?
先补基础
- 是非负实数再加上一个点 约定:((积分理论的标准约定:高度为 但底为零测集的台阶,面积算 0)。
- 没有定义。这正是下面定义 3 要小心的地方。
对实数(或扩展实数)定义
- 例: 时 时 时两者都是 0。
- 负部也是非负的: 是「负的那部分的大小」,不是负数。
- 两个恒等式:理由: 时 时 两种情况逐一代入即可验证。
- 对随机变量 由上一页的「复合保持可测」, 都是随机变量。
课件原文逐句精读
Once a random variable is measurable, the integral constructed in Week 1 applies on the probability space .
Definition 2 (Nonnegative expectation) For a measurable , define
Definition 3 (Extended expectation and integrability) For an extended-real random variable , let
一旦随机变量是可测的,第 1 周(即第 1 讲)构造的积分就可以用在概率空间 上。
定义 2(非负随机变量的期望) 对可测的 定义……(留白)
定义 3(扩展的期望与可积性) 对扩展实值随机变量 令……(留白)
① Once a random variable is measurable, the integral … applies|可测就能积分
- 第 1 讲的积分适用于任何测度空间上的可测函数。概率空间 就是一个特殊的测度空间(总质量为 1),随机变量就是其上的可测函数,所以不需要任何新理论。
- 这句话也解释了上一页为什么非要求「可测」:不可测的函数,积分的第 2 步就卡住了—— 要求
② For a measurable Y : Ω → [0, ∞]|先处理非负的
- 允许 取值 (例如「等到第一次正面所需的次数」,在「永远不出正面」的结局上就是
- 先处理非负函数,是因为非负函数的积分永远有定义(可能是 不会遇到
③ For an extended-real random variable Z, let|再处理可正可负的
- extended-real 指取值于 let 后面留白处要引入正部 负部 (见下一节)。
- 标题里的 integrability(可积性)也在这里定义。
补全课件留白
课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。
对可测的 定义
右边是第 1 讲定义的非负可测函数的勒贝格积分。
- 它总有定义,值可以是
- 最小的例子: 时 概率就是示性函数的期望,这一句后面第 28 页会变成估计概率的核心技巧。
- 简单随机变量:若 则 这正是中学的「取值 × 概率,求和」。
设 是扩展实值随机变量,令 它们都是非负随机变量, 由定义 2 给出。
- 若 与 至少有一个有限,定义
- 若 则称 不存在(没有定义)。
- 若 称 可积(integrable),记作 由于 这等价于 且 此时 是一个有限实数。
把四种可能列成表:
| 可积吗 | |||
|---|---|---|---|
| 有限 | 有限 | 有限实数 | 可积 |
| 有限 | 不可积,但期望有定义 | ||
| 有限 | 不可积,但期望有定义 | ||
| 不存在 | 不可积 |
为什么这样定义:自然希望 两个非负期望都已经定义好了,唯一的障碍是 只要避开这种情况,减法就有意义。
设 只取可数个不同的值 要证
- 令 它是简单函数,(定义 2 的简单函数公式)。
- 固定 它恰好满足某一个 当 时 当 时 所以 单调不减并最终等于
- 由单调收敛定理(MCT),(级数可以是
对可正可负的离散 分别用于 和
期望的基本性质(本讲后面反复使用)
因为期望就是积分,第 1 讲证明过的积分性质全部直接适用。下面列出最常用的几条,并注明理由:
- 常数:理由:常数 是简单函数 期望为 负常数用正负部。这里用到了 ,一般测度下
- 单调性:若 (且期望有定义),则 理由:逼近 的每个简单函数也在 下方,所以上确界不会变小(非负函数的积分);一般情形分正负部处理。
- 线性:若 可积, 是实数,则 可积且 (L¹ 上的线性)。非负情形不需要可积: 对任意非负 成立,值可以是 (非负函数的可加性)。
- 绝对值不等式:期望存在时 理由:
- 零概率集上改值无影响:若 (称 几乎必然,almost surely,简写 a.s.),则两者期望同时存在且相等(a.e. 与 L¹)。概率论把「几乎处处」(a.e.)改叫「几乎必然」(a.s.),意思一样。
为什么先定义非负的、再定义一般的:非负函数的积分是「从下面用台阶逼近」,只涉及加法和上确界,永远不会出现 一般函数的麻烦全部集中在「正、负两部分都无穷大」这一种情况,单独把它排除掉就行。这种「先非负、再拆正负部」的两步走,第 7 页证明 LOTUS 时还会再走一遍。
图解
课件这里没有图,可以自己在纸上画:
- 横轴画一条长度为 1 的线段,代表整个 每个事件 占的「长度」就是 例如掷骰子时,把线段等分成 6 段,每段长 分别代表点数 1–6。
- 在每一段上方画出 的高度。对骰子 就是 6 根高度分别为 1、2、…、6 的柱子。
- 所有柱子的面积之和 这就是
对一般的非负 柱子变成「台阶」逼近(简单函数),面积的上确界就是 所以期望 = 的图像在「总长为 1 的 上方围成的面积。面积可以无穷大(例 2);对可正可负的 就是「横轴上方的面积 − 横轴下方的面积」,两块都无穷大时无法相减(例 3)。
例子
每点概率 是简单函数,所以
抛公平硬币直到出现正面,若第 次才出现正面,奖金 则 (前 次反面、第 次正面),由离散公式
每次都取有限值,但期望是 大奖虽然罕见,却大到足以拉高平均。按定义 2 这完全合法。
令 (总概率 则
两部分都是 不存在。虽然 的分布关于 0 对称,也不能说 把正项和负项按不同顺序相加,部分和可以趋向任何你想要的值,所以「0」没有资格当平均值。
著名的连续例子是柯西分布(Cauchy),密度 密度关于 0 对称,负的一侧完全一样,期望不存在。
取例 2 的 令
- 负部:所以
- 正部:即 由单调性和非负函数积分的可加性,所以
按定义 3 第 1 条,有定义,但 不可积。
常见疑问与易错点
答:因为这样会破坏期望最基本的性质。以例 3 的 为例: 的正部、负部期望也都是 按「算 0」的规则 可我们希望 矛盾说明 没法给出一个合理的数,只能说「不存在」。
答:不能推出「处处」,但能推出「几乎必然」:理由:由单调性 若 右边是 与 矛盾。反过来,在一个概率为 0 的集合上把 改成 期望不变(
答:不是。可积要求 是更强的条件;期望存在只要求正部、负部不同时为 例 4 的 期望存在(但不可积。以后说「 有限」「指的都是可积。
答:不是。比如 时 写 时,减号已经把「负」表达出来了。
小结与自测
- 非负随机变量:永远有定义。
- 一般随机变量:只要 不同时为
- 可积 正部、负部期望都有限;可积时期望是有限实数。
- 期望可以是 (圣彼得堡),也可以不存在(对称的 柯西分布)。
1. 求
点开看答案
两部分都有限, 可积。
2. 判断:「若 且 则
点开看答案
对。对每个 所以 得 而 可数个零概率事件的并概率为 0(可数次可加性),所以
3. 设 (总和为 1)。 存在吗? 可积吗?
点开看答案
所以 有限,期望存在。(调和级数发散)。所以 不可积。
| 中文 | English | 白话解释 |
|---|---|---|
| 期望 | expectation | 随机变量对概率测度的积分 E[X] = ∫ X dP,也就是「加权平均」。 |
| 勒贝格积分 | Lebesgue integral | 按函数值分块的积分:先定义简单函数的积分,再用下方的简单函数逼近取上确界。 |
| 测度 | measure | 给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。 |
| 随机变量 | random variable | 从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。 |
| 正部 | positive / negative part | f⁺ = max(f, 0),f⁻ = max(−f, 0),f = f⁺ − f⁻,|f| = f⁺ + f⁻。 |
| 可测函数 | measurable function | 对每个 a,集合 {f > a} 都可测;这样的函数才能积分。 |
| 函数 | function / map | f: A → B 给 A 中每个元素指定 B 中唯一一个元素。 |
| 可积 | integrable (L¹) | ∫|f| dμ < ∞。全体可积函数记作 L¹(μ)。 |
| 示性函数 | indicator function | 𝟏_A(x) 在 x ∈ A 时取 1,否则取 0;它的积分就是 A 的测度。 |
| 简单函数 | simple function | 只取有限个值的可测函数,是若干示性函数的线性组合,图像像台阶。 |
| 上确界 | supremum (sup) | 最小的上界。最大值不一定存在,但有上界的实数集一定有上确界。 |
| 上界 | upper bound | 数集 A 的上界是一个数 M,A 里每个数都 ≤ M。例如 2 和 5 都是 [0,1] 的上界;所有上界中最小的那个叫上确界。 |
| 单调收敛定理 | monotone convergence theorem (MCT) | 非负可测函数单调递增地收敛时,积分也收敛:∫fₙ ↑ ∫f。 |
| 零测集 | null set | 测度为 0 的集合,例如单点、有理数全体、康托尔集。 |
| 概率空间 | probability space | 三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。 |
| 测度空间 | measure space | 三元组 (S, 𝓜, μ):空间、σ-代数、测度。 |
| 可数 | countable | 元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。 |
| 单调递增 | nondecreasing | 后一项不小于前一项;单调有界的数列一定有极限。 |
| 级数 | series | 无穷多项相加 a₁ + a₂ + …,它的值是前 n 项和在 n → ∞ 时的极限。 |
| 几乎必然收敛 | almost sure convergence | 除了概率为 0 的结局以外,Xₙ(ω) 都收敛到 X(ω)。 |
| 几乎处处 | almost everywhere (a.e.) | 除了一个测度为 0 的集合之外都成立;零测集上的值不影响积分。 |
| 无意识统计学家定律 | law of the unconscious statistician (LOTUS) | 求 g(X) 的期望,不必先求出 g(X) 的分布,直接把 g 对 X 的分布 𝓛(X) 积分;X 有密度 f 时就是 E g(X) = ∫ g(x) f(x) dx。 |
| 事件 | event | 样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。 |
| 黎曼积分 | Riemann integral | 大一学的定积分:按 x 轴切竖条求和取极限。 |
| 区间 | interval | 数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。 |
| 分布 | law / distribution | X 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。 |
| 部分和 | partial sum | 级数 a₁ + a₂ + … 的前 n 项之和 Sₙ = a₁ + … + aₙ;级数的值就是 Sₙ 在 n → ∞ 时的极限。 |
| 集合 | set | 把一些对象放在一起当成一个整体,例如 {1,2,3}。 |
| 次可加性 | subadditivity | 并集的测度不超过各部分测度之和:μ(A ∪ B) ≤ μ(A) + μ(B)。 |