高等概率论逐页精讲

第 4 讲 乘积测度与独立性›第 3 部分 独立性

PDF 第 16 / 21 页幻灯片 16/22定义

两个事件、两个随机变量、两个 σ-代数的独立;柱集

Independence of two events

课件原页 · 点击放大 · ← → 键翻页

这一页在讲什么

人话版一句话版

「独立」有三个层次:两个事件独立、两个随机变量独立、两个 σ-代数独立。三者说的都是同一条乘法规则:同时发生的概率 = 各自概率的乘积。要同时谈很多个(甚至无穷多个)对象的独立,需要把很多个空间乘在一起;在这个大空间里,只限制有限个坐标的集合叫柱集(cylinder set),它是下一页定义「无穷乘积测度」的砖块。

  • 位置:第 3 部分「独立性」(第 16 页–第 21 页)的第一页。
  • 和前面的关系:
    • 第 3 讲 第 6 页 已经定义了一列事件的相互独立,并用于第二 Borel–Cantelli 引理;
    • 本讲第 1 部分说明:两个随机变量各自的分布(边缘分布)相同,联合分布可以完全不同(第 4 页 的 与 独立就是一种特殊的联合分布:联合分布等于边缘分布的乘积测度。这一点 第 17 页 会证明。
  • 本页的任务:
    1. 把独立的定义从事件推广到随机变量和 σ-代数;
    2. 提出问题「 个对象怎么办」;
    3. 为回答这个问题,引入无穷乘积空间里的柱集。

先补基础

基础补课概率空间三件套(回顾)

  • 是样本空间,里面每个点 是一次试验的一个可能结局;
  • 是 σ-代数(第 9 页),是「可以谈概率的事件」组成的集合;
  • 是概率测度(第 12 页),给每个事件一个 0 到 1 之间的数,满足 和可数可加性。

注意 的定义域是 不是 的全部子集。所以凡是要写 的集合,都必须先确认它在 里。

基础补课随机变量决定的事件 {X ∈ C}
  • 随机变量 是可测函数(第 4 页):对每个博雷尔集 都在 里。
  • 博雷尔集(Borel set):由所有区间经过可数次并、交、补得到的集合,例如 它们组成博雷尔 σ-代数
  • 为什么要求 是博雷尔集: 只保证博雷尔集的原像是事件。对一个非博雷尔的怪集合 可能不在 里, 就没有定义。
  • 记号 中的逗号表示「且」:
基础补课由随机变量生成的 σ-代数 σ(X)
  • 它是 σ-代数:原像保持集合运算,并且
  • 含义: 是「只看 的值就能判断发生没有」的所有事件,可以理解成「 携带的信息」。
  • 例:掷骰子, 是点数,知道 只能判断「偶数」「奇数」这两类事件;「掷出 6」不在 里,因为只知道 时分不清是 2、4 还是 6。
基础补课子 σ-代数

若 是 σ-代数,并且 就说 是 的子 σ-代数(sub-σ-algebra)。 就是一个子 σ-代数。σ-field 和 σ-algebra 是同一个意思(field 是「域」的旧称)。

基础补课很多个空间的乘积 ∏ 与坐标映射
  • 下标集 (读作「大伽马」):任意一个用来编号的集合,可以是 甚至
  • 乘积集合 每个元素 是「给每个下标 挑一个 时就是 第 6 页 的 时就是无穷序列
  • 坐标映射(coordinate map,也叫投影)从整个序列里读出第 个坐标。
  • 例:无穷次抛硬币, 是所有正反序列;

课件原文逐句精读

课件原文Independence of two events
  • Probability space is where is sample space, is set of events (the -algebra) and is the probability function.
  • Two events and are independent if . Random variables and are independent if for all sets , we have , i.e., the events and are independent. Two -fields and are independent if and are independent whenever and .
  • How to describe the independence over multiple events?
  • Let , be a sequence of measurable spaces. Let be its product, a measurable set , let the set be chosen of the form , for some , the set is called a (product) cylinder set
中文翻译

蓝条标题:两个事件的独立。

  • 概率空间是 其中 是样本空间, 是事件全体(σ-代数), 是概率函数。
  • 两个事件 称为独立,如果 随机变量 和 称为独立,如果对所有集合 都有 也就是说事件 与 独立。两个 σ-代数 与 称为独立,如果只要 与 就独立。
  • 多个( 个)事件的独立该怎样描述?
  • 设 是一列可测空间, 是它们的乘积。取一个可测集 并让 取 的形式(这样的集合 称为(乘积)柱集。

Probability space|概率空间

  • 第一句只是回顾记号。probability function(概率函数)就是概率测度
  • 写 而不是 是给事件(集合)打分,不是给单个样本点打分。

Two events A and B are independent|两个事件、两个随机变量、两个 σ-代数的独立

  • 事件:直觉是「知道 发生,不改变 的概率」: 时它等价于 (第 6 页 的「先补基础」)。
  • 随机变量: 能决定的每个事件 都和 能决定的每个事件 独立。这是「无穷多条」乘法规则, 跑遍所有博雷尔集。
  • σ-代数: 里的每个事件都和 里的每个事件独立。σ-代数代表「信息」,两个 σ-代数独立就是「两份信息互不相干」。
  • 三者是层层推广的关系:随机变量的独立,就是 与 的独立(下一节命题 1);事件的独立,就是 与 的独立(命题 2)。
  • 两处措辞需要改正:
    1. 「for all sets 应为「for all Borel sets 理由见「先补基础」:只有博雷尔集的原像才保证是事件。
    2. 「Two σ-fields and 里的 和第一句概率空间里的 撞了名字。这里应当是 的两个子 σ-代数,例如写成 与 (否则「 与 独立」会把整个 拿来和别的比,而 里包含 的每个事件 于是要求 只有 里的事件全是概率 0 或 1 才可能成立。

How to describe the independence over multiple n events?|n 个事件的独立怎么描述

课件把它作为一个问题抛出来,答案在下一节和 第 17 页、第 18 页。简要地说: 个事件要求任意有限个的交都满足乘法规则(第 6 页),而不只是两两满足。为了把「 个独立的试验」放进同一个概率空间里,要用 个(甚至无穷多个)空间的乘积,这就引出了最后一句话里的柱集。

Cylinder set|柱集

这一句话很长,拆开读:

  1. 先有一列可测空间 每个代表一次「小试验」。
  2. 把它们全部乘在一起,得到乘积可测空间
  3. 挑有限个下标 在这 个坐标组成的有限乘积 里取一个可测集 特别地取成矩形
  4. 「只要求这 个坐标落在 里,其余坐标随便」,这样得到的大空间里的集合叫柱集。

课件这句话里有几处记号不一致,按标准写法改正如下:

  • 与 混用:课件先选了集合 结尾却说「the set is called a cylinder set」, 从没定义过(并且 刚在第二条里被用作博雷尔集)。正确的关系是: 是有限个坐标空间里的「底」,柱集是大空间里的

和 不在同一个空间里,不能混为一谈。

  • 下标 与 混用:课件开头说下标是 接着又用一般的下标集 两种都可以,但要统一。用 时,应写 而不是
  • 下一页(第 17 页)的课件取 这时柱集就是

补全课件留白

补充说明

课件此处留白(课堂板书),以下内容由本站根据标准教材补写,记号与本课件保持一致;如与老师课堂写法不同,以老师为准。

三个层次的独立:正式定义

定义(两个事件、两个随机变量、两个 σ-代数的独立)

设 是概率空间。

  1. 事件 独立,如果
  2. 随机变量 独立,如果对所有博雷尔集
  1. 子 σ-代数 独立,如果对所有
命题 1(随机变量的独立 = 生成的 σ-代数的独立)

与 独立,当且仅当 与 独立。

推导证明

由「先补基础」, 的元素恰好是形如 ( 博雷尔)的事件, 的元素恰好是

  • 「 独立」说的是:对所有
  • 把 代入,这句话逐字变成定义第 2 条。

两句话说的是同一件事。

命题 2(事件的独立 = 示性函数的独立)

对事件 下面三条等价:(a) 独立;(b) 与 独立;(c) 随机变量 与 独立。

推导证明
  • 是什么: 只取 0、1 两个值,所以 只有四种可能: 两个值都不含时是 只含 1 时是 只含 0 时是 两个都含时是
  • (b)⇔(c):命题 1。
  • (b)⇒(a):取 即可。
  • (a)⇒(b):要验证 4×4=16 对事件。含 的对两边都是 0;含 的对两边相等(例如 剩下 与 与 与 与 第一对就是 (a)。第二对:

第一个等号是因为 被分成不相交的 与 第三、四对用同样的减法(第 6 页 的命题 A)。

命题 3(独立随机变量的函数仍然独立)

若 独立, 是博雷尔可测函数,则 与 独立。

推导证明

对博雷尔集 其中 是博雷尔集( 可测)。于是

最后一步用 独立;右边就是

例: 独立,则 与 独立, 与 独立。

How to describe the independence over multiple n events?|对问题的回答

定义(n 个事件、n 个 σ-代数的独立)
  1. 事件 相互独立,如果对每个至少含两个元素的子集
  1. 子 σ-代数 相互独立,如果对所有
  • 第 1 条与 第 6 页 的定义 3 一致: 个事件要查 个等式;只查两两不够(第 18 页 的例子)。
  • 第 2 条为什么只写一个等式就够了?因为每个 都含有 想检查某个子集 上的乘法规则,只要对 取 交集里多出来的 不改变交集,乘积里多出来的 不改变乘积。所以子集上的等式被「全部 个」的等式自动包含。
  • 随机变量 相互独立,就定义为 相互独立。第 18 页 会写成课件的形式,并推广到任意多个。

为什么要引入乘积空间:要讨论「 次独立的试验」,必须先有一个概率空间,让 个结果同时住在里面。自然的选择是乘积 一个样本点就是「 次试验的结果清单」。若要讨论无穷多次试验(例如第 3 讲的无穷次抛硬币、样本均值的极限),就要无穷乘积 在无穷乘积里,最容易计算概率的集合就是只涉及有限个坐标的柱集。

Cylinder set|柱集:改正后的定义

定义(柱集与乘积 σ-代数)

设 是一族可测空间,

  1. 取有限个互不相同的下标 和一个可测集 集合

称为以 为底(base)的柱集。2. 若底是矩形 (即

则称 为乘积柱集(product cylinder set)。3. 乘积 σ-代数 定义为由所有乘积柱集生成的 σ-代数。它也是使所有坐标映射 都可测的最小 σ-代数。

逐条理解:

  • 「有限个」是关键:柱集只对有限个坐标提要求,其余无穷多个坐标完全自由。
  • 的情形:乘积柱集就是
  • 为什么叫「柱」:在三维空间 里,取底 为平面上的单位圆盘,柱集 就是一根沿 方向无限延伸的圆柱:底决定截面形状,第三个坐标随便取。无穷乘积里的柱集是同样的样子,只是「随便取」的方向有无穷多个。
  • 和 第 6 页 的关系:两个空间时(乘积柱集就是可测矩形 乘积 σ-代数就是 所以这是 第 6 页 的直接推广。
  • 最后一句「也是使所有坐标映射可测的最小 σ-代数」:乘积柱集 是有限个「坐标原像」的交;反过来每个坐标原像 本身就是只限制一个坐标的乘积柱集。两族集合生成同一个 σ-代数,这和 第 6 页 的「是同一个论证。
命题 4(乘积柱集对有限交封闭)

两个乘积柱集的交仍是乘积柱集。用 第 8 页 的术语:乘积柱集全体是一个 π 系。

推导证明

设 是有限下标集。把两者都看成限制 上的坐标:对 令 对 令 (「不限制」就是「落在全空间里」)。于是

仍是有限集,每个 所以 是乘积柱集。

这条性质 第 17 页 马上要用:两个概率测度只要在乘积柱集上相等,就在整个乘积 σ-代数上相等(π 系唯一性定理,第 8 页)。

例子

例 1:掷两颗骰子,「第一颗是偶数」与「点数和为 7」独立

36 个结局等可能。令

  • (第一颗 3 种 × 第二颗 6 种)。
  • 由 6 个结果组成:所以
  • 独立。

直觉:不管第一颗掷出几,第二颗都恰好有一个点数能凑成 7,所以知道第一颗的奇偶不改变「和为 7」的概率。

对照(不独立):把 换成 而 不相等。原因:第一颗掷出 1 时无论如何凑不出 8,知道第一颗的点数会改变「和为 8」的概率。

例 2:两颗骰子的点数是独立的随机变量;第一颗点数与点数和不独立

令

  • 独立:对任意 有 个结局( 表示 的元素个数),所以

对一般的博雷尔集 只有 起作用,结论相同。

  • 不独立:取 (第一颗是 1 时和最多是 7),而 只要找到一对不满足乘法规则的 就足以说明不独立。
  • σ-代数的语言:(只看第一颗能判断的事件,共 个,都是「竖条」); 由「横条」 组成。竖条与横条的交是矩形 概率 正是乘积。这就是「乘积测度 ⇒ 坐标独立」的最小例子。
例 3:回到 (U, U)——边缘分布一样,独立与否却不同

都在 上均匀分布(第 4 页)。

  • :取 而 不独立:知道第一个坐标,第二个坐标就完全确定了。
  • :同样取 概率 0,而乘积是 不独立。
  • 独立:联合分布是单位正方形上的面积 (第 7 页),乘法规则对所有博雷尔集成立。

三个随机点的每个坐标都服从均匀分布,区别全在联合分布。独立是联合分布的一种特殊形式。

例 4:无穷次抛硬币中的柱集与非柱集

每次公平且相互独立(这样的 存在,见 第 17 页)。

  • 乘积柱集:「第 1 次正面且第 3 次反面」下标 底是 概率
  • 柱集但底不是矩形:「前两次结果相同」底 不是矩形,但它是两个矩形的不交并,概率
  • 不是柱集:「每一次都是正面」 限制了无穷多个坐标,不是柱集。但它是可数个柱集的交,所以在乘积 σ-代数里。它包含于每个 所以概率 对所有 成立,只能是

常见疑问与易错点

易错点问:检查两个随机变量独立,真的要验证所有博雷尔集 C、D 吗?

答:不必。离散情形(取值可数)只要验证 对所有取值 成立,因为

一般情形只要验证 对所有实数 成立,即联合 CDF 等于 CDF 之积。这一步要用 π 系唯一性定理(第 8 页),第 17 页 会解释。

易错点问:「独立」和「互斥」一样吗?

答:不一样,几乎相反。概率都为正的两个互斥事件一定不独立,因为 (第 6 页 的易错点)。例 3 的 不独立,用的正是两个互斥的事件

易错点问:独立是集合本身的性质吗?

答:不是,它取决于概率测度 同一对坐标映射 在乘积测度 下独立(例 3 的 在「集中在对角线上」的测度下( 的分布)就不独立。乘积测度正是让坐标独立的那个测度,这是 第 17 页 的主题。

易错点问:柱集为什么只允许限制有限个坐标?

答:因为有限个坐标的概率我们会算:用有限个空间的乘积测度,限制无穷多个坐标的事件(例如例 4 的「每次都是正面」)不能直接写出概率,要先表示成柱集的可数交、并,再用测度的连续性(第 13 页、第 14 页)去算。先在简单集合上定义、再扩张到生成的 σ-代数,这和第 1 讲构造勒贝格测度的思路一样。

小结与自测

小结本页小结
  • 事件独立:随机变量独立:对所有博雷尔集 与 独立;σ-代数独立:其中任意两个事件独立。
  • 三者一脉相承: 独立 ⇔ 独立; 独立 ⇔ 独立。独立随机变量的函数仍独立。
  • 个事件要求任意子族满足乘法规则; 个 σ-代数只需写一个等式,因为可以取
  • 柱集:在无穷乘积 里只限制有限个坐标的集合 乘积柱集生成乘积 σ-代数,并且对交封闭。
  • 课件笔误:柱集的底 与柱集 混用;「all sets 应为博雷尔集;与 比较的应是子 σ-代数,不是整个
自测

1. 掷两颗骰子, 独立吗?

点开看答案

独立。

2. 写出 若 与自己独立吗?

点开看答案

与自己独立要求 即 不成立,所以不独立。只有 时事件才与自己独立。

3. 在 中,把「第 2 次和第 5 次都是正面」写成乘积柱集的形式,指出它的底,并求公平独立抛掷下的概率。

点开看答案

即 下标 底是 概率

本页术语中英对照(按出现顺序)
中文English白话解释
独立independence任意有限个事件同时发生的概率等于各自概率的乘积。
事件event样本空间的(允许谈概率的)子集;实现的 ω 落在里面,就说事件发生。
随机变量random variable从样本空间到实数的(可测)函数,把结局翻译成数字;随机性来自「实现了哪个 ω」。
σ-代数sigma-algebra允许谈概率的「事件清单」:含 Ω,对补集和可数并封闭。
集合set把一些对象放在一起当成一个整体,例如 {1,2,3}。
柱集cylinder set只对有限个坐标提条件的集合,如 {ω₁ ∈ B₁, …, ωₙ ∈ Bₙ},其余坐标任取。
乘积测度product measure在每个可测矩形上取 μ₁(A₁)μ₂(A₂) 的唯一测度(σ-有限时)。平面面积就是长度 × 长度的乘积测度。
Borel–Cantelli 引理Borel–Cantelli lemma概率之和有限 ⇒ 只发生有限次;独立且概率之和无穷 ⇒ 发生无穷多次。
联合分布joint law (joint distribution)随机向量 (X, Y) 在平面上的分布:对每个平面博雷尔集 B 给出 P((X, Y) ∈ B)。只知道边缘分布不能确定它。
边缘分布marginal law随机向量中单个坐标的分布,例如 P(X ∈ A) = P((X, Y) ∈ A × ℝ)。
分布law / distributionX 把概率「推」到取值空间上得到的测度:L(X)(B) = P(X ∈ B)。
测度measure给 σ-代数里的每个集合一个 [0, ∞] 中的「大小」,空集为 0,并且可数可加。
乘积空间product space笛卡尔积 Ω₁ × Ω₂,配上乘积 σ-代数(以及乘积测度)。
样本空间sample space一次试验所有可能的完整结局组成的集合,记作 Ω。
概率测度probability measure总质量 P(Ω) = 1 的测度。
可数可加性countable additivity两两不交的可数个集合,并集的测度等于各自测度之和。
子集subsetA 的每个元素都在 B 里,就说 A 是 B 的子集,记作 A ⊆ B。
可测函数measurable function对每个 a,集合 {f > a} 都可测;这样的函数才能积分。
博雷尔 σ-代数Borel sigma-algebra由实数轴上所有开区间生成的 σ-代数 𝓑(ℝ),包含所有常见的集合。
可数countable元素能排成第 1 个、第 2 个、第 3 个……的一列(有限也算),例如自然数、有理数。
区间interval数轴上的一段,[a,b] 包含端点,(a,b) 不包含端点。
原像preimagef⁻¹(B) 是「所有被 f 送进 B 的输入」组成的集合,可测性就是用原像定义的。
元素element集合里的对象。ω ∈ Ω 读作「ω 属于 Ω」。
函数function / mapf: A → B 给 A 中每个元素指定 B 中唯一一个元素。
概率空间probability space三元组 (Ω, 𝓕, P):样本空间、事件的 σ-代数、概率测度。
可测空间measurable space一个集合加上它上面的一个 σ-代数,例如 (Ω, 𝓕);还没有给出测度。
可测集measurable setσ-代数里的集合,也就是可以谈「测度多大」的集合;在概率空间里,可测集就叫事件。
样本点sample point一个完整的结局 ω;每次试验恰好实现一个样本点。
当且仅当if and only if (iff)「A 当且仅当 B」:A 成立就一定有 B,B 成立也一定有 A,两者同真同假,记作 A ⟺ B。
交集intersection同时属于两个集合的元素全体,A ∩ B 对应「A 且 B」。
无穷多次infinitely often (i.o.)「Aₙ 发生无穷多次」就是集合 lim sup Aₙ。
乘积 σ-代数product σ-algebra由所有可测矩形生成的 σ-代数,记作 F₁ ⊗ F₂;它也是让两个坐标映射都可测的最小 σ-代数。
生成的 σ-代数generated sigma-algebra包含给定集合族的最小 σ-代数 σ(𝒞):只加入「被逼着加入」的集合。
可测矩形measurable rectangle形如 A₁ × A₂ 的集合,A₁、A₂ 分别是两个空间里的可测集。
累积分布函数cumulative distribution function (CDF)F(x) = P(X ≤ x),单调不减、右连续,完全决定分布。
勒贝格测度Lebesgue measure实数轴上「长度」的严格版本,定义在勒贝格可测集上,m([a,b]) = b − a。