条件期望:Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了

我知道有很多人理解不了 “条件期望” (Conditional Expectation) 这个东西,有的时候没看清把随机变量看成事件 , 把 \(\sigma\)-algebra 看成随机变量从而思路全错的时候,我也会觉得莫名奇妙 。所以在这里用一个极其简单的例子解释一下,只要你是一只上过高中的草履虫那就能听懂 。
\[\]我们来丢一枚质地均匀的硬币(意味着得到正面与反面的概率各为 \(\frac{1}{2}\)) , 连丢两次并记录两次结果 。那么很容易可以写出全集 \(\Omega = \left\{ HH, HT, TH, TT \right\}\)  , \(H\) 和 \(T\) 分别代表正面和反面 。现在是第一个需要稍加思考的地方 , 令 \(\mathcal{G}\) 为一个 \(\sigma\)-algebra,其中包括了第一次丢硬币结果的信息,请问 \(\mathcal{G}\) 是什么?
稍加思考,不难得出 \(\mathcal{G} = \left\{\Omega, ~ \emptyset, ~ \left\{ HH, HT \right\}, ~ \left\{ TT, TH \right\}\right\}\),这里也做出一个解释 。首先要明确的是,\(\Omega\) 中的元素(例如 \(HH\)) 和 \(\mathcal{G}\) 中的元素 (例如 \(\left\{ HH, HT \right\}\)) 之间的区别:前者是结果 (outcome),后者是事件 (event) 。我们对于一次 “抽样”,只能得到一种结果,例如 \(HH\),代表丢两次硬币后得到两个正面的结果 。但不同的结果由于共享某些特性,可以被划分在同一个事件当中 , 例如,丢两次硬币产生相同的结果应有两种,即同时为正面或同时为背面 (i.e. \(HH\) 或 \(TT\)),它们归属于 “丢两次硬币产生相同的结果” 的事件:\(\left\{ HH, TT \right\}\) 。回到问题 , 现在我们已知了第一次丢硬币后结果的信息,也就是 "第一次丢硬币是正面还是背面",那么我们自然可以得出 \(\mathcal{G}\) 是由集类:\(\left\{ \left\{ HH, HT\right\}, ~ \left\{TT, TH\right\} \right\}\) 生成的 \(\sigma\)-algebra 。这是因为第一次扔硬币的结果已经被确定——无论它是正面还是背面:如果是正面,那么结果无非两种:两次都正面或第一次正面第二次背面;如果是背面,结果也无非两种:两次都背面或第一次背面第二次正面 。结合以下树结构 , 在得知第一次扔硬币结果的信息后 , 相当于从根 \(XX\) 来到了第一层 \(HX\) 或 \(TX\) (\(X\) 代表未知信息) 。

条件期望:Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了

文章插图

同时 , 这也从另一个角度说明为什么概率论最终需要引入 “测度” 的定义——为了描述一种信息变化的过程 。当我们并不知道第一次扔硬币的结果时,在全空间 \(\Omega\) 上定义的测度空间为 \((\Omega, \mathcal{F}, P)\),其中:
\[\mathcal{F}:= \left\{ \Omega, ~ \emptyset, ~ \left\{ HH \right\}, ~ \left\{ HT \right\}, ~ \left\{ TH \right\}, ~ \left\{ TT \right\}, ~ \left\{ HT, HT \right\}, \ldots \right\}\]where \(\mathcal{F}\) 的 cardinality: \(|\mathcal{F}| = 2^{4} = 16\) 。
\[\]而当已知第一次的信息后,\(\sigma\)-algebra 随即收缩为:
\[\mathcal{G}:= \left\{ \Omega, ~ \emptyset, ~ \left\{ HH, HT \right\}, ~ \left\{ TH, TT \right\} \right\}\]\[\]现在考虑条件期望: \(\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right]\) 。其中,\(\mathcal{G}\) 如上记作第一次丢完硬币后结果的全部信息,对于 \(\forall w \in \Omega:\) 随机变量 \(X\) 定义为:
\[X(w) = \begin{cases}a \qquad \mbox{if } ~ w = HH\\b \qquad \mbox{if } ~ w = HT\\c \qquad \mbox{if } ~ w = TH\\d \qquad \mbox{if } ~ w = TT\\\end{cases}\]其中 \(a, b, c, d \geq 0\) 。
Definition. (Conditional Expectation)【条件期望:Conditional Expectation 举例详解之入门之入门之草履虫都说听懂了】令 \(X\) 为一个定义在 \((\Omega, \mathcal{F}, P)\) 上的非负随机变量 。令 \(G_{1}, G_{2}, \ldots\) 为一个两两不相交的事件序列,且对于 \(\forall n \in \mathbb{N}^{+}: ~ P(G_{n}) > 0\) , 并且 \(\bigcup\limits_{n\in\mathbb{N}^{+}} G_{n} = \Omega\) 。令 \(\mathcal{G}\) 为包含 \(\left\{ G_{1}, G_{2}, \ldots \right\}\) 的最小 \(\sigma\)-algebra,即,任意 \(\mathcal{G}\) 的元素都可以写作 \(\bigcup\limits_{n \in I} G_{n}\) 的形式 , 其中 \(I \subset \mathbb{N}^{+}\) (\(I\) 为 \(\mathbb{N}^{+}\) 的某些子集) 。那么:
\[\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right](w) = \mathbb{E}\left[ X ~ | ~ G_{n} \right] = \frac{\mathbb{E}\left[ X \cdot \mathbb{I}_{G_{n}} \right]}{P(G_{n})} \qquad \qquad \mbox{if } w \in G_{n}\]首先,\(\mathbb{I}_{G_{n}}\)是一个随机变量,或者说函数:
\[\mathbb{I}_{G_{n}}: \Omega \longrightarrow \left\{ 0, 1 \right\}, \quad x \longrightarrow \mathbb{I}_{G_{n}}(x) = \begin{cases}1 \qquad \mbox{if } x \in G_{n}\\0 \qquad \mbox{otherwise}\end{cases}\]因此则可以判定,Conditional Expectation \(\mathbb{E}\left[ X ~ | ~ \mathcal{G} \right]\) 算出来也是一个随机变量,而并非常数 。最后 , 我们可以发现一旦假设 \(w \in G_{n}\),那么一定意味着 \(w \notin G_{k}, ~ \forall k \in \mathbb{N}^{+}\setminus\left\{n\right\}\) 。

推荐阅读