§E11.6確率ベクトルと同時分布

最終更新

複数の確率変数を一つの可測写像として扱うと、同時分布、周辺分布、および共分散行列を統一的に定義することができる。本記事では有限次元の場合を扱う。

1 確率ベクトルと周辺分布

定義 1.1.n≥1n\geq1とし、(Ω,F,P)(\Omega,\mathcal F,P)を確率空間とする。Borel 可測写像X=(X1,…,Xn):Ω→RnX=(X_1,\ldots,X_n):\Omega\to\mathbb R^nを確率ベクトル (random vector) という。その同時分布 (joint distribution) は像測度μX(B)=P(X∈B)(B∈B(Rn))\mu_X(B)=P(X\in B)\qquad(B\in\mathcal B(\mathbb R^n))である。第ii周辺分布 (ii-th marginal distribution) はμX∘πi−1\mu_X\circ\pi_i^{-1}であり、XiX_iの分布に等しい。

命題 1.2.X=(X1,…,Xn):Ω→RnX=(X_1,\ldots,X_n):\Omega\to\mathbb R^nが Borel 可測であることと、各XiX_iが実数値確率変数であることは同値である。

証明.XXが可測ならば、連続な座標射影πi\pi_iとの合成Xi=πi∘XX_i=\pi_i\circ Xは可測である。逆に各XiX_iが可測ならば、半開直方体R=∏i(ai,bi]R=\prod_i(a_i,b_i]に対してX−1(R)=⋂i=1nXi−1((ai,bi])∈F.X^{-1}(R)=\bigcap_{i=1}^nX_i^{-1}((a_i,b_i])\in\mathcal F.逆像がF\mathcal Fに属する Borel 集合の全体はシグマ加法族であり、半開直方体はB(Rn)\mathcal B(\mathbb R^n)を生成する。したがってXXは可測である。▨

定義 1.3. 確率ベクトルXXの同時分布関数 (joint distribution function) をFX(x1,…,xn)=P(X1≤x1,…,Xn≤xn)F_X(x_1,\ldots,x_n)=P(X_1\leq x_1,\ldots,X_n\leq x_n)と定める。

2 質量関数と密度

定義 2.1.XXが可算集合S⊂RnS\subset\mathbb R^nに値を取るとき、p(x)=P(X=x)p(x)=P(X=x)(x∈S)(x\in S)を同時確率質量関数 (joint probability mass function) という。第ii成分の質量関数はpi(t)=∑x∈S: xi=tp(x)p_i(t)=\sum_{x\in S:\,x_i=t}p(x)である。

定義 2.2. ある非負 Borel 可測関数f:Rn→[0,∞]f:\mathbb R^n\to[0,\infty]が存在し、すべての Borel 集合BBに対してP(X∈B)=∫Bf(x) dxP(X\in B)=\int_B f(x)\,dxとなるとき、ffをXXの同時密度 (joint density) という。このとき∫Rnf dx=1\int_{\mathbb R^n}f\,dx=1である。

定理 2.3.X=(X1,…,Xn)X=(X_1,\ldots,X_n)が同時密度ffをもち、1≤k<n1\leq k<nとする。このとき(X1,…,Xk)(X_1,\ldots,X_k)は密度g(x1,…,xk)=∫Rn−kf(x1,…,xn) dxk+1⋯dxng(x_1,\ldots,x_k)=\int_{\mathbb R^{n-k}}f(x_1,\ldots,x_n)\,dx_{k+1}\cdots dx_nをもつ。

証明. Lebesgue 測度空間はシグマ有限であり、ffは非負可測である。可算選択公理の下で Tonelli の定理§E9.11 定理 2.3を適用する。任意のB∈B(Rk)B\in\mathcal B(\mathbb R^k)に対して、

P((X1,…,Xk)∈B)=∫B×Rn−kf=∫Bg(x1,…,xk) dx1⋯dxk.P((X_1,\ldots,X_k)\in B) =\int_{B\times\mathbb R^{n-k}}f =\int_Bg(x_1,\ldots,x_k)\,dx_1\cdots dx_k.

したがってggは周辺密度である。▨

命題 2.4.X=(X1,…,Xn)X=(X_1,\ldots,X_n)が密度ffをもち、実数値 Borel 可測関数h:Rn→Rh:\mathbb R^n\to\mathbb Rが∫Rn∣h(x)∣f(x)dx<∞\int_{\mathbb R^n}|h(x)|f(x)dx<\inftyを満たすとする。このときh(X)h(X)は可積分である。さらに1≤k<n1\leq k<nに対して、

E[h(X)]=∫Rk ⁣(∫Rn−kh(x′,x′′)f(x′,x′′) dx′′)dx′=∫Rn−k ⁣(∫Rkh(x′,x′′)f(x′,x′′) dx′)dx′′.E[h(X)]=\int_{\mathbb R^k}\!\left(\int_{\mathbb R^{n-k}}h(x',x'')f(x',x'')\,dx''\right)dx' =\int_{\mathbb R^{n-k}}\!\left(\int_{\mathbb R^k}h(x',x'')f(x',x'')\,dx'\right)dx''.

二つの内側の積分は、それぞれ外側の Lebesgue 測度に関してほとんど至る所で有限である。

証明. 一般の像測度積分公式§E9.6 定理 5.3を非負関数∣h∣|h|と可測写像XXに適用すると、E[∣h(X)∣]=∫∣h∣f<∞E[|h(X)|]=\int|h|f<\inftyである。同じ公式をh+h^+とh−h^-に適用して差を取るとE[h(X)]=∫hfE[h(X)]=\int hfを得る。関数hfhfは絶対可積分であり、Lebesgue 測度空間はシグマ有限であるため、可算選択公理の下で Fubini の定理§E9.11 定理 3.2を適用する。したがって主張した二つの反復積分がE[h(X)]E[h(X)]に等しい。▨

例 2.5 (三角形上の同時密度).f(x,y)=21{0<y<x<1}f(x,y)=2\mathbf1_{\{0<y<x<1\}}とする。Tonelli の定理により総積分は∫01∫0x2 dy dx=1\int_0^1\int_0^x2\,dy\,dx=1である。周辺密度はfX1(x)=2x1(0,1)(x),fX2(y)=2(1−y)1(0,1)(y)f_{X_1}(x)=2x\mathbf1_{(0,1)}(x),\qquad f_{X_2}(y)=2(1-y)\mathbf1_{(0,1)}(y)となる。

3 共分散行列

定義 3.1.X=(X1,…,Xn)X=(X_1,\ldots,X_n)の各成分がL2(P)L^2(P)に属するとする。mi=E[Xi]m_i=E[X_i]と置き、Σij=Cov⁡(Xi,Xj)=E[(Xi−mi)(Xj−mj)]\Sigma_{ij}=\operatorname{Cov}(X_i,X_j)=E[(X_i-m_i)(X_j-m_j)]で定まる行列Σ\Sigmaを共分散行列 (covariance matrix) という。

Cauchy–Schwarz の不等式§E11.4 定理 2.2により各積は可積分であるため、すべての成分が有限に定まる。

定理 3.2. 共分散行列Σ\Sigmaは対称であり、すべてのa∈Rna\in\mathbb R^nに対してaTΣa≥0a^{\mathsf T}\Sigma a\geq0を満たす。

証明. 積の交換法則からΣij=Σji\Sigma_{ij}=\Sigma_{ji}である。有限和と期待値を交換して、

aTΣa=E ⁣[(∑i=1nai(Xi−mi))2]≥0a^{\mathsf T}\Sigma a =E\!\left[\left(\sum_{i=1}^na_i(X_i-m_i)\right)^2\right]\geq0

を得る。各項は二次可積分確率変数の有限線形結合であるから、表示された期待値は有限である。▨

4 演習

問題 4.1.

  1. 同時分布関数から各周辺分布関数を極限によって取り出せ。
  2. 例 2.5についてE[X1X2]E[X_1X_2]を二通りの積分順序で計算せよ。
  3. 共分散行列が正定値でないことと、ある非零aaに対して∑iai(Xi−E[Xi])=0\sum_i a_i(X_i-E[X_i])=0がほとんど至る所で成り立つことが同値であると証明せよ。

5 扱った範囲と次の記事

本記事では、同時分布、周辺分布、同時分布関数、質量関数、密度、および共分散行列を扱った。次の記事では、事象族、シグマ加法族、および確率変数族の独立性を定義し、相互独立性と二つずつの独立性を区別した上で、同時分布と積分布の関係を証明する。

参考文献

  1. Patrick Billingsley, Probability and Measure, Anniversary Edition, Wiley, 2012, originally published 1995.
  2. Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Probability Theory and Stochastic Modelling, Springer, Cham, 2021.

前提記事