§E11.3確率変数と分布関数

最終更新

確率変数は、試行の結果を実数へ対応させるだけの写像ではない。値の範囲を表す Borel 集合の逆像が事象となるように、可測性を要求した写像である。この条件により、確率空間上の確率測度を実数直線へ移すことができ、確率変数の分布を Borel 確率測度として扱うことができる。

1 確率変数と像測度

定義 1.1.(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とする。可測写像

X:(Ω,F)⟶(R,B(R))X:(\Omega,\mathcal F)\longrightarrow(\mathbb R,\mathcal B(\mathbb R))

を実数値確率変数 (real-valued random variable) という。XXの分布 (distribution) または法則 (law) とは、

μX(B)=P(X∈B)=P(X−1(B))(B∈B(R))\mu_X(B)=P(X\in B)=P\bigl(X^{-1}(B)\bigr) \qquad(B\in\mathcal B(\mathbb R))

によって定まる像測度μX=P∘X−1\mu_X=P\circ X^{-1}のことである。

可測性は、上の式の逆像がすべてF\mathcal Fに属することを保証する。

命題 1.2.定義 1.1のμX\mu_Xは(R,B(R))(\mathbb R,\mathcal B(\mathbb R))上の確率測度である。

証明.X−1(∅)=∅X^{-1}(\emptyset)=\emptysetなのでμX(∅)=0\mu_X(\emptyset)=0である。二つずつ交わらない Borel 集合B1,B2,…B_1,B_2,\ldotsに対して、逆像X−1(Bn)X^{-1}(B_n)も二つずつ交わらず、逆像は可算和と可換する。したがって、

μX(⋃n=1∞Bn)=P(⋃n=1∞X−1(Bn))=∑n=1∞μX(Bn)\mu_X\left(\bigcup_{n=1}^{\infty}B_n\right) =P\left(\bigcup_{n=1}^{\infty}X^{-1}(B_n)\right) =\sum_{n=1}^{\infty}\mu_X(B_n)

である。また、μX(R)=P(Ω)=1\mu_X(\mathbb R)=P(\Omega)=1である。▨

分布は確率変数が定義された標本空間を忘れ、各 Borel 集合へ割り当てられる確率だけを保持する。異なる確率空間上の確率変数であっても、像測度が等しければ同じ分布に従う。

例 1.3 (有限標本空間上の像測度).Ω={1,2,3,4,5,6}\Omega=\{1,2,3,4,5,6\}に一様な確率測度を入れ、X(ω)=ω mod 2X(\omega)=\omega\bmod 2とする。このとき、

μX=12δ0+12δ1\mu_X=\frac12\delta_0+\frac12\delta_1

である。例えばμX({1})=P({1,3,5})=1/2\mu_X(\{1\})=P(\{1,3,5\})=1/2である。六つの標本点は、像測度では二つの値に集約される。

2 分布関数

実数直線では、左半直線への確率の割当てを一つの実関数にまとめることができる。

定義 2.1. 実数値確率変数XXの分布関数 (distribution function) を

FX(x)=P(X≤x)=μX((−∞,x])(x∈R)F_X(x)=P(X\leq x)=\mu_X(( -\infty,x]) \qquad(x\in\mathbb R)

によって定める。

命題 2.2. 分布関数FXF_Xは次の性質を満たす。

  1. FXF_Xは非減少である。
  2. FXF_Xは右連続である。すなわち、xn↓xx_n\downarrow xならばFX(xn)→FX(x)F_X(x_n)\to F_X(x)である。
  3. lim⁡x→−∞FX(x)=0\lim_{x\to-\infty}F_X(x)=0かつlim⁡x→∞FX(x)=1\lim_{x\to\infty}F_X(x)=1である。

証明.x≤yx\leq yならば(−∞,x]⊆(−∞,y]( -\infty,x]\subseteq( -\infty,y]であるから、確率測度の単調性によりFX(x)≤FX(y)F_X(x)\leq F_X(y)である。これが(1)である。

xn↓xx_n\downarrow xとする。An={X≤xn}A_n=\{X\leq x_n\}とおくとAn↓{X≤x}A_n\downarrow\{X\leq x\}である。P(A1)≤1<∞P(A_1)\leq1<\inftyなので、測度の上からの連続性§E9.2 定理 4.1 (2)から

lim⁡n→∞FX(xn)=lim⁡n→∞P(An)=P(X≤x)=FX(x)\lim_{n\to\infty}F_X(x_n) =\lim_{n\to\infty}P(A_n) =P(X\leq x)=F_X(x)

を得る。任意のh↓0h\downarrow0に対する右極限も、単調性と数列による挟み打ちから同じ値になる。

Bn={X≤−n}B_n=\{X\leq-n\}とおくとBn↓∅B_n\downarrow\emptysetである。実数値であるため、有限の値X(ω)X(\omega)がすべての−n-n以下になるω\omegaは存在しない。上からの連続性からFX(−n)→0F_X(-n)\to0であり、単調性からx→−∞x\to-\inftyの極限も00である。一方、Cn={X≤n}C_n=\{X\leq n\}はCn↑ΩC_n\uparrow\Omegaを満たす。下からの連続性からFX(n)→1F_X(n)\to1であり、単調性からx→∞x\to\inftyの極限も11である。▨

分布関数は分布から作られるだけでなく、分布を一意に復元する。

定理 2.3.μ\muとν\nuをR\mathbb R上の Borel 確率測度とする。すべてのx∈Rx\in\mathbb Rについて

μ((−∞,x])=ν((−∞,x])\mu(( -\infty,x])=\nu(( -\infty,x])

が成り立つならば、μ=ν\mu=\nuである。したがって、実数値確率変数X,YX,YについてFX=FYF_X=F_YならばμX=μY\mu_X=\mu_Yである。

証明.

P={R}∪{(−∞,x]∣x∈R}\mathcal P=\{\mathbb R\}\cup\{( -\infty,x]\mid x\in\mathbb R\}

とおく。二つの左半直線の共通部分も左半直線であり、R\mathbb Rとの共通部分も元の集合なので、P\mathcal Pは π 系である。実数直線の Borel 集合族の半直線生成§E9.1 命題 3.3によりσ(P)=B(R)\sigma(\mathcal P)=\mathcal B(\mathbb R)である。

二つの測度が一致する集合の族を

D={B∈B(R)∣μ(B)=ν(B)}\mathcal D=\{B\in\mathcal B(\mathbb R)\mid\mu(B)=\nu(B)\}

とおく。確率測度であるからR∈D\mathbb R\in\mathcal Dである。B∈DB\in\mathcal Dならば、有限測度であることから

μ(R∖B)=1−μ(B)=1−ν(B)=ν(R∖B)\mu(\mathbb R\setminus B)=1-\mu(B)=1-\nu(B)=\nu(\mathbb R\setminus B)

であり、R∖B∈D\mathbb R\setminus B\in\mathcal Dである。二つずつ交わらないB1,B2,…∈DB_1,B_2,\ldots\in\mathcal Dに対しては、可算加法性から

μ(⋃nBn)=∑nμ(Bn)=∑nν(Bn)=ν(⋃nBn)\mu\left(\bigcup_nB_n\right)=\sum_n\mu(B_n) =\sum_n\nu(B_n)=\nu\left(\bigcup_nB_n\right)

である。したがって、D\mathcal Dは Dynkin 系である。仮定からP⊆D\mathcal P\subseteq\mathcal Dであるため、π–λ 定理§E9.1 定理 4.8により

B(R)=σ(P)⊆D\mathcal B(\mathbb R)=\sigma(\mathcal P)\subseteq\mathcal D

を得る。ゆえに、すべての Borel 集合上でμ\muとν\nuは一致する。▨

3 離散分布・絶対連続分布・特異分布

実数直線上の Lebesgue 測度をλ\lambdaと書く。分布の型は、確率がどの集合に集中するか、およびλ\lambdaとどのような関係をもつかによって区別する。

定義 3.1.μ\muをR\mathbb R上の Borel 確率測度とする。

  1. 可算集合S⊆RS\subseteq\mathbb Rが存在してμ(S)=1\mu(S)=1となるとき、μ\muを離散分布 (discrete distribution) という。
  2. λ(B)=0\lambda(B)=0ならば常にμ(B)=0\mu(B)=0となるとき、μ\muはλ\lambdaに関して絶対連続 (absolutely continuous) であるといい、μ≪λ\mu\ll\lambdaと書く。このときμ\muを絶対連続分布 (absolutely continuous distribution) という。
  3. Borel 集合NNが存在してλ(N)=0\lambda(N)=0かつμ(R∖N)=0\mu(\mathbb R\setminus N)=0となるとき、μ\muとλ\lambdaは互いに特異 (mutually singular) であるといい、μ⊥λ\mu\perp\lambdaと書く。このときμ\muを特異分布 (singular distribution) という。
  4. 特異分布がすべてのx∈Rx\in\mathbb Rについてμ({x})=0\mu(\{x\})=0を満たすとき、特異連続分布 (singular continuous distribution) という。

離散分布は可算集合に集中するので Lebesgue 測度に関して特異である。したがって、「特異」は「離散でない」という意味ではない。特異連続分布は、離散分布を除いた特異分布を具体的に区別する語である。また、確率測度が離散分布か絶対連続分布のいずれかに限られるわけではない。

定理 3.2.μ\muをR\mathbb R上の Borel 確率測度とする。μ≪λ\mu\ll\lambdaであることと、Borel 可測関数f:R→[0,∞)f:\mathbb R\to[0,\infty)が存在して

μ(B)=∫Bf dλ(B∈B(R))\mu(B)=\int_Bf\,d\lambda \qquad(B\in\mathcal B(\mathbb R))

となることは同値である。このffはλ\lambdaに関してほとんど至る所で一意であり、∫Rf dλ=1\int_{\mathbb R}f\,d\lambda=1を満たす。絶対連続分布に対するこのffを確率密度関数という。

証明.μ≪λ\mu\ll\lambdaならば、λ\lambdaはシグマ有限でμ\muは有限であるため、シグマ有限な正測度に対する Radon–Nikodym の定理§E9.15 定理 3.3により、非負拡張実数値 Borel 可測関数f0:R→[0,∞]f_0:\mathbb R\to[0,\infty]が存在して表示を得る。B=RB=\mathbb Rとすれば∫f0 dλ=μ(R)=1\int f_0\,d\lambda=\mu(\mathbb R)=1である。したがって、

N={x∈R:f0(x)=∞}N=\{x\in\mathbb R:f_0(x)=\infty\}

とおく。任意のM>0M>0についてM1N≤f0M\mathbf1_N\leq f_0であるから、

Mλ(N)≤∫Rf0 dλ=1M\lambda(N)\leq\int_{\mathbb R}f_0\,d\lambda=1

である。M→∞M\to\inftyとすればλ(N)=0\lambda(N)=0を得る。NN上でf0f_0を00に変更して得られる Borel 可測関数f:R→[0,∞)f:\mathbb R\to[0,\infty)は、すべての Borel 集合上でf0f_0と同じ積分をもつ。密度のほとんど至る所での一意性は§E9.15 定理 4.1による。逆に表示が存在し、λ(B)=0\lambda(B)=0ならば∫Bf dλ=0\int_Bf\,d\lambda=0なのでμ(B)=0\mu(B)=0である。▨

特異分布や絶対連続成分と特異成分をともにもつ分布に、分布全体を表す Lebesgue 密度は存在しない。密度のように見える式を Dirac のデルタを用いて書くことがあっても、そのデルタは Lebesgue 可積分関数ではない。

例 3.3 (Cantor 分布は特異連続である).([0,1],B([0,1]),λ)([0,1],\mathcal B([0,1]),\lambda)を確率空間とする。0≤ω<10\leq\omega<1に対して

bn(ω)=⌊2nω⌋−2⌊2n−1ω⌋∈{0,1}b_n(\omega)=\lfloor2^n\omega\rfloor-2\lfloor2^{n-1}\omega\rfloor\in\{0,1\}

とし、bn(1)=1b_n(1)=1と定める。各bnb_nは Borel 可測であり、

X(ω)=∑n=1∞2bn(ω)3nX(\omega)=\sum_{n=1}^{\infty}\frac{2b_n(\omega)}{3^n}

とおく。部分和は可測であり、点ごとの極限に対する可測性§E9.5 定理 4.1によりXXも可測である。

XXの値は、三進展開の各桁が00または22である Cantor 集合CCに属する。第nn段の Cantor 集合は長さ3−n3^{-n}の閉区間2n2^n個の和であるから、

λ(C)≤(23)n\lambda(C)\leq\left(\frac23\right)^n

がすべてのnnで成り立ち、λ(C)=0\lambda(C)=0である。一方、P(X∈C)=1P(X\in C)=1なのでμX⊥λ\mu_X\perp\lambdaである。

さらに、X(ω)=xX(\omega)=xが成り立つならば、任意のnnについて最初のnn個の二進桁b1(ω),…,bn(ω)b_1(\omega),\ldots,b_n(\omega)が固定される。実際、00と22だけからなる二つの三進桁列が最初に第kk桁で異なるならば、その桁の寄与の差2/3k2/3^kは後続する桁の寄与の差の絶対値∑j>k2/3j=1/3k\sum_{j>k}2/3^j=1/3^kより大きいため、二つの和は等しくない。その桁列をもつω\omegaの集合は、長さ2−n2^{-n}の半開二進区間と高々一つの端点に含まれる。したがって、

P(X=x)≤2−nP(X=x)\leq2^{-n}

がすべてのnnで成り立ち、P(X=x)=0P(X=x)=0である。よって、μX\mu_Xは原子をもたない特異分布、すなわち特異連続分布である。原子をもたない確率測度は可算集合へ集中しないため、μX\mu_Xは離散分布ではない。

例 3.4 (離散成分と絶対連続成分をもつ混合分布).0<α<10<\alpha<1とし、([0,1],B([0,1]),λ)([0,1],\mathcal B([0,1]),\lambda)上で

X(ω)={0,0≤ω≤α,ω−α1−α,α<ω≤1X(\omega)= \begin{cases} 0,&0\leq\omega\leq\alpha,\\ \dfrac{\omega-\alpha}{1-\alpha},&\alpha<\omega\leq1 \end{cases}

と定める。任意の Borel 集合BBに対して

μX(B)=α δ0(B)+(1−α)λ(B∩[0,1])\mu_X(B)=\alpha\,\delta_0(B)+(1-\alpha)\lambda(B\cap[0,1])

である。実際、第二の区間上のアフィン写像の逆像の長さは(1−α)λ(B∩(0,1])(1-\alpha)\lambda(B\cap(0,1])であり、端点は Lebesgue 零集合である。

μX({0})=α>0\mu_X(\{0\})=\alpha>0かつλ({0})=0\lambda(\{0\})=0なので、μX\mu_Xは Lebesgue 測度に関して絶対連続ではない。任意の可算集合S⊆RS\subseteq\mathbb Rはλ(S)=0\lambda(S)=0を満たすため、

μX(S)=αδ0(S)≤α<1\mu_X(S)=\alpha\delta_0(S)\leq\alpha<1

であり、μX\mu_Xは可算集合へ集中しない。したがって、μX\mu_Xは離散分布ではない。また、任意の Lebesgue 零集合NNに対しても

μX(N)=αδ0(N)≤α<1\mu_X(N)=\alpha\delta_0(N)\leq\alpha<1

であるから、μX\mu_Xは Lebesgue 零集合へ全確率を集中させる特異分布でもない。したがって、これは離散成分と絶対連続成分をともにもつ混合分布である。

4 演習

問題 4.1.

  1. 実数値確率変数XXとx∈Rx\in\mathbb Rに対して FX(x)−lim⁡y↑xFX(y)=P(X=x)F_X(x)-\lim_{y\uparrow x}F_X(y)=P(X=x) が成り立つことを、測度の下からの連続性を用いて証明せよ。
  2. 離散分布が Lebesgue 測度に関して絶対連続にはなり得ないことを、可算集合の Lebesgue 測度が00であることから証明せよ。
  3. 例 3.4の分布関数を区間x<0x<0、0≤x≤10\leq x\leq1、x>1x>1に分けて求め、x=0x=0における跳びの大きさを確認せよ。

5 本記事の境界と次の課題

本記事では一つの実数値確率変数の法則だけを扱った。期待値は分布に関する積分として別の記事で定義し、複数の確率変数の同時分布と独立性は確率ベクトルを導入した後に扱う。分布の変数変換では、像測度の定義を保ったまま、離散和または Lebesgue 密度の変換公式を適用する。

参考文献

  1. Achim Klenke, Probability Theory, 3rd ed., Universitext, Springer, 2020.確率変数、像測度、および分布関数の定式化を参考にした。
  2. Patrick Billingsley, Probability and Measure, Anniversary Edition, Wiley, 2012, originally published 1995.分布関数による分布の一意性と、分布の型の区別を参考にした。
  3. Gerald B. Folland, Real Analysis, 2nd ed., Wiley, 1999.Cantor 集合と Radon–Nikodym 密度の測度論的記述を参考にした。

前提記事