測度論的な条件付き確率は “条件付き” で “確率” なのか

$(\Omega, \mathfrak{F}, P)$ を確率空間とします。つまり $\Omega$ は集合、$\mathfrak{F}$ は $\Omega$ 上の $\sigma$-加法族、$P$ は $(\Omega, \mathfrak{F})$ 上の測度で、$P(\Omega) = 1$ を満たすものとします。条件付き確率は測度論的に以下のように定義されます。

$X$ を (実数値) 確率変数とし、$\mathfrak{G} \subset \mathfrak{F}$ を部分 $\sigma$-加法族とします。このとき、以下の条件を満たす $\mathfrak{G}$ 可測な関数 (したがって $\mathfrak{G}$ 可測な確率変数でもある) $f$ を $X$ の条件付き期待値といい、$E[X \mid \mathfrak{G}]$ と表します。

• 任意の有界な $\mathfrak{G}$ 可測関数 $g$ に対して $E[gf] = E[gX]$ を満たす。

そして、$X = 1_A$, $A \in \mathfrak{F}$ の場合に $P(A \mid \mathfrak{G}) := E(1_A \mid \mathfrak{G})$ と表し、条件付き確率と言います。

この定義は馴染みのある初等的な定義

$$P(A \mid B) = \frac{P(A \cap B)}{P(B)}$$

とはかなり趣が違っているように見えます。特になぜ部分 $\sigma$-加法族を与えるのが “条件付き” で、条件付き “確率” や “期待値” という名前なのに確率変数なのか、一見よく分かりません。

さらにこの測度論的な定義は思ったよりも込み入っていて、単に式の意味が分かりにくいだけでなく、実際に得られる値が $P(B)$ 倍異なっていたり、確率変数 $Y$ を条件に持つ条件付き期待値 $E[X \mid Y]$ を考えないと理解できない部分があったりします。

この記事では、測度論的な定義は「条件を後付けできるもの」と考えると理解しやすいのではないか、という方針のもと定義の解説をします。流れとしては、最初に定義の大まかな意味を解説し、その後、確率変数や確率分布の定義をおさらいし、最後に $Y$ を条件に持つ条件付き期待値 $E[X \mid Y]$ を考えて残りの意味を説明します。

定義の見方

条件付き確率の定義を見て浮かぶ疑問として

1. 部分 $\sigma$-加法族 $\mathfrak{G} \subset \mathfrak{F}$ が与えられるとはどういうことか
2. $E[gf] = E[gX]$ について
   1. 任意の有界な $\mathfrak{G}$ 可測関数 $g$ に対して $E[gf] = E[gX]$ を満たすとはどういうことか
   2. なぜ $g$ に “有界” であるという条件をつけるのか
   3. $f$ が $\mathfrak{G}$ 可測であるとはどういうことか
3. なぜ確率や期待値なのに確率変数なのか
4. $P(A \mid \mathfrak{G}) := E[1_A \mid \mathfrak{G}]$ と定義して良いのか

が挙げられると思います。 この節では、定義から (自明ではないが) 読み取れることで、測度論の知識があればわかることをまとめます。確率分布を考えないと理解が難しいものもありますが、それは次以降の節で説明します。この節の内容で納得できる方は以降の節を読む必要はありません。

部分 $\sigma$-加法族が与えられるとは？

部分 $\sigma$-加法族を与えることは確率変数 $Y$ を考えることと同じと思って良いです。可測空間 $(S, \mathfrak{M})$ に値をとる確率変数 (つまり可測写像) $Y: \Omega \to S$ を考えます。$Y$ の値が $S$ の部分集合 $E \in \mathfrak{M}$ に含まれるという “条件” は $Y^{-1}(E) \subset \mathfrak{F}$ で与えられます。

ここで “条件” は数学的には未定義ですが、普通の条件付き確率 $P(A \mid B)$ の “条件” $B$ は $\Omega$ の部分集合なので、$Y^{-1} (E)$ を “条件” と呼びました。

例えば、サイコロを振って出た目を $3$ で割った余りを確率変数 $Y$ で表したとき、サイコロの目が $3$ で割り切れないという “条件” は $Y^{-1}(\{1, 2\})$ となります。

この、確率変数 $Y: \Omega \to S$ の値の範囲によってのみ決まる “条件” の集合は

$$\sigma(Y) = \{Y^{-1} (E) \mid E \in \mathfrak{M}\}$$

で与えられ、$\sigma(Y)$ は ($Y$ を可測にする最小の) $\mathfrak{F}$ の部分 $\sigma$-加法族になります。

逆に、部分 $\sigma$-加法族 $\mathfrak{G} \subset \mathfrak{F}$ に対して可測空間 $(\Omega^{\prime}, \mathfrak{G})$ (ただし $\Omega^{\prime} = \Omega$) と確率変数 $\mathrm{id}: \Omega \to \Omega^{\prime}$ を考えれば、$\sigma(\mathrm{id}) = \mathfrak{G}$ となります。

ただ、条件付き期待値の定義には部分 $\sigma$-加法族があれば十分で、わざわざ確率変数を持ち出す必要がないのでそのような定義になっているのだと思います。

$E[gf] = E[gX]$ からわかること

$g$ は有界な $\mathfrak{G}$ 可測関数なので、特に $B \in \mathfrak{G}$ に対して $g = 1_B$ としても等式が成り立ちます。このとき

\begin{align*} & E[gX] = E[1_B X] = \int_B X(\omega) dP(\omega) \end{align*}

となります。ここで左辺の $\int_B X(\omega) dP(\omega)$ が条件付き期待値と呼べるものなのか考えてみましょう。

条件 $B \in \mathfrak{G}$ が与えられたとき、$(\Omega, \mathfrak{G})$ 上の確率測度 $\eta_B$ を

$$\eta_B(A) = \frac{P(A \cap B)}{P(B)} = P(A \mid B)$$

と定義します。$P(A) = 0$ ならば常に $\eta_B(A) = 0$ なので $\eta_B$ は $P$ に関して絶対連続で、

$$\eta_B(A) = \int_A \frac{1_B(\omega)}{P(B)} dP(\omega)$$

と表されることに注意します。

条件 $B$ に関する (普通の意味での) 条件付き期待値 $E[X \mid B]$ は、$\eta_B$ に関する期待値 $\int_\Omega X(\omega) d \eta_B (\omega)$ で与えられるべきだと思われますが、計算すると

\begin{align*} E[X \mid B] &= \int_\Omega X(\omega) d \eta_B (\omega) \\ &= \int_\Omega X(\omega) \frac{1_B(\omega)}{P(B)} dP(\omega) \\ &= \frac{1}{P(B)} \int_B X(\omega) dP(\omega) \\ &= \frac{1}{P(B)} E[1_B X] \end{align*}

となります。$P(B)$ で割られている分が異なりますが、$E[1_B X]$ は普通の意味での条件付き期待値 $E[X \mid B]$ に関連する値であるといえます。特に $g = 1_B$ とすることは条件 $B$ を与えることを意味します。

測度論的な条件付き期待値 $f = E[X \mid \mathfrak{G}]$ は

$$E[1_B f] = E[1_B X] = P(B) E[X \mid B]$$

を満たします。$P(B)$ が掛かっている事を無視すれば、$E[X \mid \mathfrak{G}]$ は条件 $B$ を後付けする ($1_B$ を掛けて積分をとる) と条件付き期待値 $E[X \mid B]$ が得られるものであると言えます。

$P(B)$ 分のずれと、$f$ になぜ $\mathfrak{G}$ 可測という条件がつくのかは後で確率分布を用いて説明します。

$g$ の “有界” であるという条件について

$X$ が可積分であると仮定すれば、任意の $B \in \mathfrak{G}$ に対して $E[1_B f] = E[1_B X]$ が成り立つことから任意の有界な $\mathfrak{G}$ 可測関数 $g$ に対して $E[g f] = E[g X]$ が成り立つことが従います。実際、単関数 $\varphi$ については $E[\varphi f] = E[\varphi X]$ が成り立ち、$|g| < c$ を満たす実数 $c$ を取れば

$$E[c|X|] = c E[|X|] < \infty$$

なので、$g$ の単関数近似 $\varphi_n$ $(\varphi_n \to g)$ を取れば

$$E[gf] = \lim_{n \to \infty} E[\varphi_n f] = \lim_{n \to \infty} E[\varphi_n X] = E[g X]$$

となります。よって $X$ が可積分であれば $1_B$, $B \in \mathfrak{G}$ というかたちの関数のみを考えれば十分で、それを定義とする場合もあります (というか、それが主流かもしれない)。この定義は [小谷] にしたがっています。

$X$ が非可積分でも、$X$ が非負や非正など $E[X]$ が $\pm \infty$ を含めて確定する場合は条件付き期待値が定まる場合があるようです。しかしその場合、$g$ を任意の有界可測関数としてしまうと $E[gX]$ が定まらないことがあります。よって $g$ に非負などの条件を追加する必要があります。そうであれば初めから $1_B$, $B \in \mathfrak{G}$ というかたちの関数のみ考えれば良いような気がします。

関数解析的に見ると次のようになります。$L^{\infty}(\Omega, \mathfrak{G}, P)$ を $\Omega$ 上の有界 $\mathfrak{G}$ 可測関数全体 (を測度 $0$ を無視して同一視したもの) とします。$X$ は可積分であるとします。このとき

$$l: L^{\infty}(\Omega, \mathfrak{G}, P) \ni g \mapsto E[g X]$$

は $L^{\infty}(\Omega, \mathfrak{G}, P)$ 上の線形汎函数を与えます。この汎函数が可積分関数 $f \in L^{1}(\Omega, \mathfrak{G}, P)$ により $l(g) = E[gf]$ と表されるとき $f$ を $X$ の条件付き期待値と定義したのでした。

残りの疑問

最初にあげた疑問の中で、まだ

1. $f$ が $\mathfrak{G}$ 可測であるとはどういうことか
2. $P(B)$ のずれについて
3. なぜ確率や期待値なのに確率変数なのか
4. $P(A \mid \mathfrak{G}) := E[1_A \mid \mathfrak{G}]$ と定義して良いのか

が残っています。詳細は次節以降で説明しますが、ここで簡単にまとめておきます。

4 についてはこれまでの計算で $X$ を $1_A$ とすれば問題ないことがわかると思います。ただし $P(B)$ の分ずれます。

2, 3 については、条件を後付けできるようにするというアイディアから従います。つまり $B \in \mathfrak{G}$ に対して条件付き期待値を与える集合関数

$$\Phi(B) = E[1_B X] = P(B) E[X \mid B]$$

を考えることから従います。2 については、普通の条件付き期待値を与える集合関数 $\Psi(B) = E[X \mid B]$ が加法的集合関数にならないため、代わりに加法的な $\Phi$ を考えるのだと思われます。3 については、考えているものが $\Phi(B)$ という値そのものではなく、条件を後付けできる機構 $\Phi$ であり

$$(E[1_B X] =)\ \ \Phi(B) = \int_{B} f(\omega) d P(\omega)$$

を満たす $f$ を条件付き期待値と呼んでいることが理由です。

1 については確率変数 $Y$ で条件を与え、確率分布を考えないと分かりません。

それでは以降の節で詳細を説明していきます。

確率変数と確率分布

確率変数について簡単におさらいします。この節は定義を述べるだけで、本題に入るのは次の節からなので読み飛ばしても問題ありません。

確率変数の定義

$\mathbb{R}$ 上のボレル集合族を $\mathfrak{B}(\mathbb{R})$ と表し、$\mathbb{R}$ への写像が可測であることは、明記しなければ $\mathfrak{B}(\mathbb{R})$ について可測であることとします。

$(\Omega, \mathfrak{F}, P)$ を確率空間とします。可測関数 $X: \Omega \to \mathbb{R}$ を $\mathbb{R}$ 値確率変数、または単に確率変数といいます。

例えばサイコロを一回投げることを考えた場合、$\Omega = \{1, \cdots, 6\}$, $\mathfrak{F} = 2^{\Omega}$ であり、各目の出る確率が等しいならば任意の $A \subset \Omega$ に対して $P(A) = \frac{1}{6} |A|$ となります。

例えばサイコロを振って出た目によって得点を得るゲームを考えます。出た目をそのまま得点とする

$$X_1: \Omega \to \mathbb{R}, \quad X(\omega) = \omega$$

は確率変数です。出た目が偶数のときに $1$ 点、奇数のときに $-1$ 点とするなら

$$X_2(\omega) = \begin{cases} 1 & (\omega \text{ は偶数} ) \\ -1 & (\omega \text{ は奇数} ) \end{cases}$$

という確率変数を考えます。

より一般に、可測空間 $(S, \mathfrak{M})$ に対して可測関数 $X: \Omega \to S$ を $S$ 値確率変数と言います。

確率変数を素朴に考える

測度論的には、確率変数は単に可測関数であると定義されますが、素朴には確率変数は “確率的に値が決まる変数” であり、関数と思うよりも変数と思ったほうが理解しやすい場合があります。変数の値が確率的に決まるとは、$X$ の値がボレル集合 $I \subset \mathbb{R}$ に含まれる確率が決まっていることと考えます。

記法も特殊で、確率変数 $X$ に対して $a \leq X \leq b$ のように書いて $a \leq X(\omega) \leq b$ を満たす $\omega$ 全体

$$\{\omega \in \Omega \mid a \leq X(\omega) \leq b\}$$

を表したり、$I \in \mathfrak{B}(\mathbb{R})$ に対して $X \in I$ と書いて、$X(\omega) \in I$ となる $\omega$ 全体 (つまり $X^{-1}(I)$ ) を表したりします。そして $X \in I$ となる確率を $P(X \in I)$ ($= P(X^{-1}(I))$)と表します。

$P(X \in I)$ という書き方は $X$ を関数とみなすと集合論的には意味不明ですが、$X$ を確率的に値が決まる変数と見れば “$X$ の値が $I$ に含まれる確率” と意味がとれます。

確率分布と密度関数

このように確率変数を変数と思うと定義域である標本空間 $\Omega$ は表に出なくなりますが、例えば期待値についても以下のようにして $\Omega$ が表に出なくなります。確率変数 $X: \Omega \to \mathbb{R}$ の期待値 $E[X]$ は

$$E[X] = \int_{\Omega} X(\omega) d P(\omega)$$

で定義されますが、$I \in \mathfrak{B}(\mathbb{R})$ に対して $\mu_X(I) = P(X^{-1}(I))$ とおくと $\mu_X$ は $\mathbb{R}$ 上の測度であり、

$$\int_{\Omega} X(\omega) d P(\omega) = \int_{\mathbb{R}} x d\mu_X (x)$$

が成り立ちます。$\mu_X$ を $X$ の分布と呼びます。

より一般に、$(S, \mathfrak{M})$ 値確率変数 $X: \Omega \to S$ に対して $\nu_X(A) = P(X^{-1}(A))$ $(A \in \mathfrak{M})$ と定めると、$\nu_X$ は $(S, \mathfrak{M})$ 上の確率測度になります。そして $\mathfrak{M}$ 可測関数 $f: S \to \mathbb{R}$ に対して、$f$ が非負または ($\nu_X$ に関して) 可積分であれば

$$\int_{\Omega} f(X(\omega)) d P(\omega) = \int_{S} f(x) d\nu_X (x)$$

が成り立ちます。これは次のようにわかります。

$f = 1_A$ の場合、左辺の被積分関数は $\omega \in X^{-1}(A)$ で $1$, それ以外で $0$ なので、左辺の積分値は $P(X^{-1}(A))$ となります。右辺の積分値は $\nu_X(A)$ なので $\nu_X$ の定義から上の等式が成り立ちます。$f$ が非負の場合、$f$ は単調増加単関数列 $\{f_n\}$ で近似できて積分と極限が交換するので成り立ちます。$f$ が可積分の場合は、$f$ を非負の部分と負の部分に分けて同様にすれば良いです。

確率変数 $X: \Omega \to \mathbb{R}$ の分布 $\mu_X$ がルベーグ測度に関して絶対連続であるとき、任意の $I \in \mathfrak{B}(\mathbb{R})$ に対して

$$\mu_X (I) = \int_{I} p_X(x) d x$$

を満たす関数 $p_X(x)$ が存在します (ラドン・ニコディムの定理)。$p_X(x)$ を $X$ の確率密度関数といいます。

同時確率と同時分布

2 つの確率変数 $X, Y$ の同時確率 $P((X, Y) \in A)$, $A \in \mathfrak{B}(\mathbb{R}^2)$ を考える場合、$X, Y$ は同じ標本空間 $\Omega$ を定義域とする可測関数 $X, Y: \Omega \to \mathbb{R}$ であるとします。異なる場合でも、$X: \Omega_1 \to \mathbb{R}$, $Y: \Omega_2 \to \mathbb{R}$ を $\Omega_1 \times \Omega_2$ に持ち上げることで、同じ標本空間を定義域に持つと考えます ($\hat{X}(\omega_1, \omega_2) = X(\omega_1)$, $\hat{Y}(\omega_1, \omega_2) = Y(\omega_2)$ とします)。

確率変数 $X, Y$ の組 $(X, Y)$ は $\mathbb{R}^2$ 値確率変数

$$f: \Omega \to \mathbb{R}^2, \quad f(\omega) = (X(\omega), Y(\omega))$$

とみなすことができ、先ほどと同様に $A \in \mathfrak{B}(\mathbb{R}^2)$ に対して $\mu_{X,Y}(A) = P(f^{-1}(A))$ と定義すれば $\mu_{X,Y}$ は $\mathbb{R}^2$ 上の測度になります。$\mu_{X,Y}$ を $X$ と $Y$ の同時分布といいます。

同様に $\mu_{X,Y}$ が $\mathbb{R}^2$ 上のルベーグ測度に関して絶対連続であれば、任意の $A \in \mathfrak{B}(\mathbb{R}^2)$ に対して

$$\mu_{X,Y} (A) = \int_{A} p_{X,Y}(x, y) d x dy$$

を満たす関数 $p_{X,Y}(x, y)$ が存在します。 $p_{X,Y}(x, y)$ を $X$ と $Y$ の同時確率密度関数といいます。

確率分布が存在する場合の条件付き期待値

次は実数値確率変数 $X, Y$ の同時確率密度関数 $p_{X,Y}(x, y)$, $Y$ の確率密度関数 $p_Y(y)$ が存在し、任意の $y$ に対して $p_Y(y) > 0$ を満たす場合に、$Y$ を条件にもつ条件付き期待値 $E[X \mid Y]$ をどう定義すべきか考えます。

$Y$ の “条件” が与えられた場合

$E[X \mid Y]$ を考える前に、まず $J \in \mathfrak{B}(\mathbb{R})$ に対して $Y \in J$ であるという条件を考えましょう。この条件のもとで $X \in I$, $(I \in \mathfrak{B}(\mathbb{R}))$ となる確率は

$$P(X \in I \mid Y \in J) = \frac{P(X \in I, Y \in J)}{P(Y \in J)}$$

で与えられます。ただし $P(X \in I, Y \in J)$ は $X \in I$ かつ $Y \in J$ となる確率を意味します。確率密度関数を使って表すと

$$P(X \in I \mid Y \in J) = \frac{\int_I \int_J p_{X, Y}(x, y) dy dx}{P(Y \in J)}$$

となり、$Y \in J$ のときの条件付き期待値は

\begin{align*} E[X \mid Y \in J] &= \frac{\int_{\mathbb{R}} x \int_J p_{X, Y}(x, y) dy dx}{P(Y \in J)} \\ &=\frac{\int_J\int_{\mathbb{R}} x p_{X, Y}(x, y) dx dy}{P(Y \in J)} \end{align*}

で与えられるべきだと考えられます。

“条件” を後付けする

上の式の $E[X \mid Y \in J]$ は $x$ と $y$ の積分で与えられます。これを先に $x$ について積分してしまい、”条件” $Y \in J$ を後で与えるようにできるのか考えてみましょう。つまり、$h(y) = \int_{\mathbb{R}} x p(x, y)dx$ とおいて集合関数

$$\Psi(J) = E[X \mid Y \in J] = \frac{\int_J h(y) dy}{P(Y \in J)}$$

を考えましょう。$J \cap J^{\prime} = \varnothing$ のとき

\begin{align*} \Psi(J \cup J^{\prime}) &= \frac{\int_J h(y) dy + \int_{J^{\prime}} h(y) dy}{P(Y \in J) +P(Y \in J^{\prime})} \\ \Psi(J) + \Psi(J^{\prime}) &= \frac{\int_J h(y) dy}{P(Y \in J)} + \frac{\int_{J^{\prime}} h(y) dy}{P(Y \in J^{\prime})} \end{align*}

なので一般に $\Psi(J \cup J^{\prime}) \neq \Psi(J) + \Psi(J^{\prime})$ であり、$\Psi$ は加法的集合関数にはなりません (ちゃんと確かめてませんが)。

これは測度論的に都合が悪いので、分母の $P(Y \in J)$ は別で考えることとして、代わりに

$$\Phi(J) = \int_J h(y) dy$$

を考えます。$\Phi(J)$ は明らかに加法的集合関数です。確率密度関数が存在しない場合のことも考えるとルベーグ測度 $dy$ で積分するより分布 $\mu_Y$ で積分する方が自然で、そうすると

$$\int_J h(y) dy = \int_J \frac{h(y)}{p_Y(y)} p(y)dy = \int_J \frac{h(y)}{p_Y(y)} d \mu_Y(y)$$

となります。$f(y) = \frac{h(y)}{p_Y(y)}$ とおけば

$$\Phi(J) = \int_J f(y) d \mu_Y(y) = E[X \mid Y \in J] \cdot P(Y \in J)$$

であり、条件 $Y \in J$ の元の条件付き期待値 $E[X \mid Y \in J]$ を求めるには、$X$ について考えなくても $f(y)$ の積分と $P(Y \in J)$ を求めれば良いことがわかります。この $f$ を $E[X \mid Y]$ と定義します。

ちなみに

$$E[X \mid Y](y) = \frac{\int_{\mathbb{R}} xp_{X, Y}(x, y) dx}{p_Y(y)} = \int_{\mathbb{R}} x \frac{p_{X, Y}(x, y)}{p_Y(y)} dx $$

となります。$\dfrac{p_{X, Y}(x, y)}{p_Y(y)}$ を条件付き密度関数と呼べば、条件付き期待値は各 $y$ について条件付き密度関数を分布とする確率変数の期待値を取ったものと言えます。

測度論的な条件付き期待値との比較

$f(y) = E[X \mid Y](y)$ を $J$ で積分したものは

\begin{align*}\int_J f(y) d \mu_Y(y) &= \int_{Y^{-1}(J)} f(Y(\omega)) d P(\omega) \\ &= E[1_{Y^{-1}(J)} f(Y)]\end{align*}

となりますが、

\begin{align*}\int_J f(y) d \mu_Y(y) &= \int_J h(y)dy \\ &= \int_J \int_{\mathbb{R}} x p_{X, Y}(x,y)dxdy \\ &= \int_{\Omega} 1_{Y^{-1}(J)} X(\omega) dP(\omega) \\ & = E[1_{Y^{-1}(J)} X]\end{align*}

となります。ここで、$f(y) = \frac{h(y)}{p_Y(y)}$ が可測なので $f(Y)$ は $\sigma(Y)$ 可測で、上の式から任意の $B \in \sigma(Y)$ に対して

$$E[1_{B} f(Y)] = E[1_B X]$$

を満たすので、$f(Y) = E[X \mid \sigma(Y)]$ となります。

逆に、任意の $\sigma(Y)$ 可測関数 $g: \Omega \to \mathbb{R}$ はある可測関数 $f$ により $g(\omega) = f(Y(\omega))$ と表されることが知られています ([小谷: 命題 7.20]. より一般に $Y$ が $S$ 値確率変数の場合も成り立ちます)。

よって条件付き確率 $E[X \mid \mathfrak{G}]$ に $\mathfrak{G}$ 可測という条件をつけることは、条件が確率変数 $Y$ で与えられる場合に $Y$ の関数で表されることを意味します。

条件 “後付け” について

ここまで測度論的な条件付き期待値の定義を、条件を後付けできるものであるという考えのもと説明してきました。初等的な定義の通り、条件として与えられるものは部分集合 $B \subset \Omega$ である、と考えれば条件後付けというのは正しい表現で、条件後付け期待値と名前を変えるべきではないかと思えます。

しかし、条件として与えられる確率変数 $Y$ の値が事前にはわからないが、知ることができるような状況にある場合、例えばサイコロを振って出た目の値 $X$ そのものは教えてもらえないけど、それを $3$ で割った余り $Y$ は教えてもらえるような場合は、$Y$ の値を知ることができる状況そのものを “条件” と思えば条件付き期待値という名前にそれほど違和感がないと思われます。

参考文献

[小谷] 小谷 眞一. 測度と確率.