§E11.10多変量正規分布

証明.$s^2=0$の場合には、$\mu_Y=\delta_a$なので$E[Y]=\int x\,\delta_a(dx)=a$かつ$\operatorname{Var}(Y)=\int(x-a)^2\,\delta_a(dx)=0$である。また、$P(Y=a)=\delta_a(\{a\})=1$である。$s^2>0$の場合には、定義 1.1の密度は§E11.5 定義 2.4の$\mu=a$、$\sigma=s$と同じである。規格化、二次可積分性、平均および分散は§E11.5 命題 2.5から従う。▨

証明.$F\subseteq\mathbb R^d$を閉集合とし、

とおく。各$f_n$は有界連続であり、$f_n\to\mathbf1_F$が点ごとに成り立つ。優収束定理§E9.7 定理 3.2を、支配関数$1$の下で$\mu$と$\nu$に適用すると$\mu(F)=\nu(F)$を得る。

二つの測度が一致する Borel 集合の族は、補集合と互いに交わらない可算和に対して閉じるので Dynkin 系である。閉集合全体は有限共通部分に対して閉じる π 系であり、Borel 集合族を生成する。π–λ 定理§E9.1 定理 4.8により、二つの測度はすべての Borel 集合上で一致する。▨

証明. 最初に、$\varepsilon>0$と$u\in\mathbb R$に対する一次元の Fourier–Gaussian 恒等式

を証明する。第二の積分は奇関数の積分なので$0$である。第一の積分を$I(u)=\int e^{-\varepsilon r^2/2}\cos(ru)\,dr$とおく。$|r|e^{-\varepsilon r^2/2}$の可積分性は、§E11.5 命題 2.5を$N(0,\varepsilon^{-1})$へ適用することによって従う。したがって、優収束定理§E9.7 定理 3.2を差商へ適用して積分の下で微分することができる。広義積分の部分積分から

を得る。具体的には、有限区間$[-R,R]$上で部分積分する。被積分関数は連続であるため、有限区間上の Riemann 積分と Lebesgue 積分の一致§E9.9 系 5.2を適用することができる。$R\to\infty$では、上で確認した$|r|e^{-\varepsilon r^2/2}$の可積分性と$e^{-\varepsilon r^2/2}$の可積分性を優関数として優収束定理を適用する。端点項は$e^{-\varepsilon R^2/2}\sin(Ru)\to0$により消える。正規密度の規格化§E11.5 命題 2.5を$N(0,\varepsilon^{-1})$へ適用すると$I(0)=\sqrt{2\pi/\varepsilon}$であるため、この微分方程式を解くと式 (1) を得る。余弦の加法公式を反復して$\cos(t^\top u)$を各座標の余弦と正弦の積の和へ展開する。少なくとも一つの正弦因子を含む項は、その座標について奇関数なので積分が$0$である。残る余弦因子だけの積へ式 (1) を各座標で適用し、絶対可積分な関数に Fubini の定理§E9.11 定理 3.2を用いると、

を得る。

$g_\varepsilon$は分散$\varepsilon$の一次元正規密度の$d$個の積である。§E11.5 命題 2.5と非負関数に対する Tonelli の定理§E9.11 定理 2.3により$\int_{\mathbb R^d}g_\varepsilon=1$である。$\gamma_\varepsilon$を密度$g_\varepsilon$をもつ確率測度とする。$\mu$を$\gamma_\varepsilon$で平滑化した測度を

と定める。Tonelli の定理§E9.11 定理 2.3から、この測度は

を Lebesgue 密度にもつ。実際、任意の Borel 集合$B$に対して

である。ここが平滑化した測度と表示された密度との同一視である。

とおく。これらは本補題の証明内だけで用いる有界な実数値振動積分である。射影の像測度が等しいという仮定を、有界 Borel 関数$r\mapsto\cos r$と$r\mapsto\sin r$へそれぞれ適用すると、$C_\mu(t)=C_\nu(t)$と$S_\mu(t)=S_\nu(t)$がすべての$t$で成り立つ。式 (2) を式 (3) へ代入する。被積分関数の絶対値は$e^{-\varepsilon\lVert t\rVert^2/2}$で抑えられ、この関数は可積分であり、$\mu$は確率測度なので、 Fubini の定理§E9.11 定理 3.2によって積分順序を交換することができる。その結果、

を得る。$C_\mu=C_\nu$かつ$S_\mu=S_\nu$なので、式 (4) から$p_{\mu,\varepsilon}=p_{\nu,\varepsilon}$が各点で成り立ち、$\mu_\varepsilon=\nu_\varepsilon$である。

最後に$\varepsilon\downarrow0$とする。$f\in C_b(\mathbb R^d)$と$y\in\mathbb R^d$に対して

とおく。写像$w\mapsto\sqrt\varepsilon\,w$は$\mathbb R^d$の$C^1$級微分同相である。 Borel 可測関数に対する変数変換公式§E11.8 補題 2.1を非負 Borel 可測関数$\mathbf1_{\{\lVert z\rVert\geq\delta\}}g_\varepsilon(z)$へ適用すると、任意の$\delta>0$について

である。最後の極限では、指示関数が$\varepsilon\downarrow0$で点ごとに$0$へ収束し、$g_1$が可積分であるため、優収束定理§E9.7 定理 3.2を適用した。$f$の$y$における連続性と$f$の有界性を、$\lVert z\rVert<\delta$と$\lVert z\rVert\geq\delta$に分けて用いると$T_\varepsilon f(y)\to f(y)$を得る。また$|T_\varepsilon f(y)|\leq\lVert f\rVert_\infty$である。したがって、優収束定理§E9.7 定理 3.2を支配関数$\lVert f\rVert_\infty$の下で適用すると

である。同じ結論が$\nu$にも成り立つ。各$\varepsilon>0$で$\mu_\varepsilon=\nu_\varepsilon$なので、すべての$f\in C_b(\mathbb R^d)$について$\int f\,d\mu=\int f\,d\nu$を得る。補題 2.1により$\mu=\nu$である。▨

証明. 直交行列の特徴づけ§D3.15 命題 1.2により$\lVert Qz\rVert=\lVert z\rVert$かつ$|\det Q|=1$である。$h\in C_b(\mathbb R^r)$とする。 Borel 可測関数に対する変数変換公式§E11.8 補題 2.1を、可逆線形写像$z\mapsto Qz$と、終域上の非負 Borel 可測関数$h^\pm(x)\varphi_r(Q^\top x)$に適用すると、

を得る。二つの法則はすべての有界連続関数の積分で一致するので、補題 2.1により同じ確率測度である。▨

証明.$u=0$ならば$u^\top Z=0$である。$u\neq0$とし、$v=u/\lVert u\rVert$とおく。単位ベクトルを座標軸へ移す鏡映§D3.15 補題 2.3により、直交行列$H$で$Hv=e_1$かつ$H^\top=H$となるものが存在する。したがって、

補題 3.2により$HZ$は標準正規ベクトルなので、その第一成分は$N(0,1)$に従う。Borel 可測関数に対する変数変換公式§E11.8 補題 2.1を写像$x\mapsto\lVert u\rVert x$へ適用すると、上の線形結合は$N(0,\lVert u\rVert^2)$に従う。▨

証明. 第二の条件を仮定する。任意の$t\in\mathbb R^d$に対して

である。$W=(A^\top t)^\top Z$とおくと、補題 3.3により$W\sim N(0,t^\top AA^\top t)$である。分散が正の場合には、Borel 可測関数に対する変数変換公式§E11.8 補題 2.1を平行移動$x\mapsto t^\top m+x$へ適用すると、$t^\top m+W\sim N(t^\top m,t^\top AA^\top t)$を得る。分散が零の場合には$W=0$がほとんど確実に成り立つため、同じ結論は定義 1.1の退化分布の定義から従う。したがって、$m+AZ$、従って$X$は Gaussian である。

標準正規ベクトルの各成分は平均$0$、分散$1$である。異なる成分の積の期待値は、積密度と Fubini の定理§E9.11 定理 3.2によって一次元積分の積へ分かれ、$E[Z_iZ_j]=0$となる。よって$E[Z]=0$、$\operatorname{Cov}(Z)=I_r$である。期待値と共分散の線形性§E11.4 命題 1.2、§E11.4 命題 2.3を成分ごとに適用すると、

を得る。さらに$t^\top AA^\top t=\lVert A^\top t\rVert^2\geq0$なので$AA^\top$は半正定値である。

第一の条件を仮定する。各成分$X_i=e_i^\top X$は一変量正規分布に従うので二次可積分である。$m=E[X]$、$\Sigma=\operatorname{Cov}(X)$とおく。任意の$t$について、期待値と共分散の公式から

である。定義により$t^\top X$は正規分布なので、命題 1.2から

となる。分散は非負であるため$\Sigma$は半正定値である。

スペクトル定理§D3.15 定理 3.1により、ある直交行列$Q$と$\lambda_1,\ldots,\lambda_d\geq0$が存在して

と書くことができる。

とおけば$A=A^\top$かつ$AA^\top=\Sigma$である。$Z\sim N_d(0,I_d)$とすると、既に示した方向から$t^\top(m+AZ)\sim N(t^\top m,t^\top\Sigma t)$である。式 (5) と補題 2.2により、$X$と$m+AZ$の法則は一致する。

任意の$(m,\Sigma)$に対する存在は、同じスペクトル分解と$m+AZ$の構成から従う。同じ平均と共分散をもつ二つの Gaussian 確率ベクトルでは、式 (5) によりすべての一次元射影の法則が一致するため、補題 2.2から法則が一致する。▨

証明.定理 4.2のスペクトル分解で、$A=\Sigma^{1/2}$を対称正定値平方根とする。すべての固有値が正なので$A$は可逆であり、$A^2=\Sigma$、$\det A=(\det\Sigma)^{1/2}>0$である。

$Z\sim N_d(0,I_d)$と$Y=m+AZ$を考える。$h\in C_b(\mathbb R^d)$に対し、アフィン微分同相$z\mapsto m+Az$と、終域上の非負 Borel 可測関数$h^\pm(x)(\det A)^{-1}\varphi_d(A^{-1}(x-m))$へ、Borel 可測関数に対する変数変換公式§E11.8 補題 2.1を適用して差を取ると、

最後の等号では$A^{-\top}A^{-1}=\Sigma^{-1}$を用いた。右辺の関数は非負であり、$h=1$とすれば積分が$1$である。$Y$の法則と密度 (6) から定まる確率測度は、すべての有界連続関数の積分で一致する。補題 2.1により両者は等しい。定理 4.2から$Y\sim N_d(m,\Sigma)$なので主張を得る。▨

証明.$A=\Sigma^{1/2}$を定理 4.2で構成した対称半正定値平方根とする。同定理により$X$と$m+AZ$の法則は一致する。スペクトル分解から$\ker A=\ker\Sigma$である。実対称行列では像が核の直交補空間に等しいので、

である。すべての$z$について$m+Az\in m+\operatorname{Ran}\Sigma$なので、集中の主張を得る。

$\operatorname{rank}\Sigma=r<d$とする。$\operatorname{Ran}\Sigma$の正規直交基底を一つ取り、その係数が$[-n,n]$に入る部分を考える。係数領域を幅$\delta$の$r$次元立方体で分割すると、必要な小立方体の個数は$O(\delta^{-r})$である。各小立方体の像は、$\mathbb R^d$内の一辺$C\delta$の立方体に含まれる。したがって、この有界部分は総体積$O(\delta^{d-r})$の$d$次元立方体で覆われ、$\delta\downarrow0$により Lebesgue 測度が$0$である。$n$について可算和を取ると、アフィン部分空間全体の Lebesgue 測度も$0$である。もし$X$が Lebesgue 密度をもてば、この零集合へ確率$1$を与えることは絶対連続性に反する。▨

証明.$X_I$の任意の線形結合は、$X$の係数を$J$上で零とした線形結合であるため正規分布に従う。したがって、$X_I\sim N_{|I|}(m_I,\Sigma_{II})$であり、同様に$X_J\sim N_{|J|}(m_J,\Sigma_{JJ})$である。

$A_I=\Sigma_{II}^{1/2}$、$A_J=\Sigma_{JJ}^{1/2}$とし、$Z=(Z_I,Z_J)$を$|I|+|J|$次元標準正規ベクトルとする。

とおく。標準正規密度の積表示から$Z_I$と$Z_J$は独立である。任意の Borel 集合$C_I,C_J$について、$\{Y_I\in C_I\}$と$\{Y_J\in C_J\}$はそれぞれ$Z_I$と$Z_J$の Borel 逆像なので、確率の積公式が保たれる。したがって、可測なアフィン像$Y_I,Y_J$も独立である。さらに$(Y_I,Y_J)$は Gaussian で、平均と共分散は

である。仮定$\Sigma_{IJ}=0$と共分散行列の対称性から、表示した平均ベクトルと共分散行列は$(X_I,X_J)$の平均と共分散に等しい。定理 4.2の一意性により、$(X_I,X_J)$と$(Y_I,Y_J)$の法則は一致する。後者の同時分布は周辺分布の積なので、前者についても同じであり、$X_I$と$X_J$は独立である。

$\Sigma$が対角の場合には、同じ構成を各成分の平方根からなる対角行列で行うと、$X$の法則は独立な$m_i+\sqrt{\Sigma_{ii}}Z_i$の法則に一致する。二成分の主張は$I=\{i\}$、$J=\{j\}$として得られる。▨

証明.$\Sigma$が正定値なので、その主部分行列$\Sigma_{22}$も正定値であり可逆である。$u\neq0$に対して

とおくと、直接計算により$w^\top\Sigma w=u^\top S u$である。左辺は正なので$S$は正定値である。

ブロック行列

に対して

が成り立つ。したがって、$\det L=1$から$\det\Sigma=(\det S)(\det\Sigma_{22})$である。また、$u=x-m_1$、$v=y-m_2$とすると

式 (8) は$L^{-1}(u,v)^\top=(u-Bv,v)^\top$を$\Sigma^{-1}=L^{-\top}D^{-1}L^{-1}$へ代入すると得られる。

定理 5.1の密度へ行列式の分解と式 (8) を代入すると、

を得る。第一因子はすべての$y\in\mathbb R^q$で正である。第二因子を$k(y,x)=f_{m_1+B(y-m_2),S}(x)$と書く。$S$は正定値であるため、定理 5.1により、各$y$について$x\mapsto k(y,x)$は非負 Borel 可測で積分が$1$である。したがって、Lebesgue 積分の可算加法性から、各$y$について$A\mapsto K(y,A)$は確率測度である。

表示された正規密度の式から$(y,x)\mapsto k(y,x)$は連続である。Borel 集合$A\subseteq\mathbb R^p$を固定すると、$(y,x)\mapsto\mathbf1_A(x)k(y,x)$は非負 Borel 可測である。 Tonelli の定理§E9.11 定理 2.3は

が Borel 可測であることも与える。同じ定理と式 (9) により、Borel 集合$C\subseteq\mathbb R^q$に対して

となる。$A=\mathbb R^p$とすれば、$X_2$の周辺密度は$f_{m_2,\Sigma_{22}}$である。したがって、同時密度と正の周辺密度の比は$k$であり、上の等式は$K$が式 (7) の条件付き分布を与えることを示す。零確率の一点事象へ§E11.2 定義 1.1の比を適用したのではない。▨