正規標本の分布 | 数理統計 I | 天游ヶ丘数理学院

1 Gamma 分布と Beta 分布

定義 1.1. $a>0$ と $b>0$ に対して、密度

g_{a,b}(x)=\frac{b^a}{\Gamma(a)}x^{a-1}e^{-bx}\mathbf 1_{(0,\infty)}(x)

をもつ確率分布を、shape $a$ 、rate $b$ の Gamma 分布 (Gamma distribution) といい、 $\operatorname{Gamma}(a,b)$ と書く。

証明.§E4.15 命題 1.2により $\Gamma(a)$ は有限で正である。変数変換 $u=bx$ と§E4.15 命題 1.2を用いると

\int_0^\infty \frac{b^a}{\Gamma(a)}x^{a-1}e^{-bx}\,dx =\frac1{\Gamma(a)}\int_0^\infty u^{a-1}e^{-u}\,du=1

を得る。非負な連続関数の広義積分と Lebesgue 積分の一致は、有限区間上の一致と単調収束定理§E9.7 定理 1.1から従う。したがって表示した関数は確率密度である。▨

定義 1.2. $a>0$ と $b>0$ に対して、密度

h_{a,b}(x)=\frac{x^{a-1}(1-x)^{b-1}}{B(a,b)}\mathbf 1_{(0,1)}(x)

をもつ確率分布を Beta 分布 (Beta distribution) $\operatorname{Beta}(a,b)$ という。

証明.§E4.16 命題 1.2により $B(a,b)$ は有限で正であり、密度の全質量は Beta 関数の定義から $1$ である。広義積分と Lebesgue 積分の一致は定義 1.1の証明と同じ単調収束定理から従う。▨

命題 1.3. $X\sim\operatorname{Gamma}(a,b)$ とし、 $q\in\R$ とする。このとき $E[X^q]$ が有限であるための必要十分条件は $q>-a$ であり、この条件のもとで

E[X^q]=b^{-q}\frac{\Gamma(a+q)}{\Gamma(a)}

が成り立つ。特に

E[X]=\frac ab,\qquad \operatorname{Var}(X)=\frac a{b^2}

である。

証明. $X>0$ がほとんど確実に成り立つから、 $X^q$ は非負である。密度に $x^q$ を掛け、 $u=bx$ と変数変換すると

E[X^q]=\frac{b^a}{\Gamma(a)}\int_0^\infty x^{a+q-1}e^{-bx}\,dx =b^{-q}\frac1{\Gamma(a)}\int_0^\infty u^{a+q-1}e^{-u}\,du.

§E4.15 命題 1.2と零の近傍における冪積分の判定により、最後の積分が有限であるための必要十分条件は $a+q>0$ である。 $q=1,2$ の式と Gamma 関数の関数方程式§E4.15 命題 3.1から

E[X]=\frac ab,\qquad E[X^2]=\frac{a(a+1)}{b^2}

を得るので、分散は $a/b^2$ である。▨

命題 1.4. $X\sim\operatorname{Beta}(a,b)$ とし、 $q\in\R$ とする。このとき $E[X^q]$ が有限であるための必要十分条件は $q>-a$ であり、この条件のもとで

E[X^q]=\frac{B(a+q,b)}{B(a,b)}

が成り立つ。特に

E[X]=\frac a{a+b},\qquad \operatorname{Var}(X)=\frac{ab}{(a+b)^2(a+b+1)}

である。

証明. $X\in(0,1)$ がほとんど確実に成り立つ。密度に $x^q$ を掛けると

E[X^q]=\frac1{B(a,b)}\int_0^1x^{a+q-1}(1-x)^{b-1}\,dx.

§E4.16 命題 1.2により、この積分が有限であるための必要十分条件は $a+q>0$ と $b>0$ であり、有限な場合の値は $B(a+q,b)/B(a,b)$ である。§E4.16 定理 2.1と§E4.15 命題 3.1を $q=1,2$ に用いると

E[X]=\frac a{a+b},\qquad E[X^2]=\frac{a(a+1)}{(a+b)(a+b+1)}

を得る。第二式から第一式の二乗を引けば表示した分散になる。▨

定理 1.5. $X\sim\operatorname{Gamma}(a,r)$ と $Y\sim\operatorname{Gamma}(b,r)$ を独立とし、 $a,b,r>0$ とする。このとき

S=X+Y,\qquad R=\frac{X}{X+Y}

は独立であり、

S\sim\operatorname{Gamma}(a+b,r),\qquad R\sim\operatorname{Beta}(a,b)

が成り立つ。

証明. 独立性により $(X,Y)$ の同時密度は $(0,\infty)^2$ 上で

\frac{r^{a+b}}{\Gamma(a)\Gamma(b)}x^{a-1}y^{b-1}e^{-r(x+y)}

である。写像 $(x,y)\mapsto(s,u)=(x+y,x/(x+y))$ は $(0,\infty)^2$ から $(0,\infty)\times(0,1)$ への微分同相であり、逆写像は

x=su,\qquad y=s(1-u)

である。この逆写像の Jacobi 行列式の絶対値は $s$ である。多変数の密度変換§E11.8 定理 5.1により、 $(S,R)$ の同時密度は

\frac{r^{a+b}}{\Gamma(a)\Gamma(b)} s^{a+b-1}e^{-rs}u^{a-1}(1-u)^{b-1}

となる。Beta–Gamma 関係式§E4.16 定理 2.1を用いると、この密度は

\left(\frac{r^{a+b}}{\Gamma(a+b)}s^{a+b-1}e^{-rs}\right) \left(\frac{u^{a-1}(1-u)^{b-1}}{B(a,b)}\right)

と因数分解される。二つの因子はそれぞれ確率密度であるから、 $S$ と $R$ は独立であり、表示した分布に従う。▨

系 1.6. $X_1,\ldots,X_\ell$ が独立で、 $X_j\sim\operatorname{Gamma}(a_j,r)$ 、 $a_j,r>0$ ならば

\sum_{j=1}^\ell X_j\sim\operatorname{Gamma}\!\left(\sum_{j=1}^\ell a_j,r\right)

である。

証明. $\ell=1$ の場合は仮定そのものである。 $\ell-1$ 個について結論が成り立つと仮定すると、和 $X_1+\cdots+X_{\ell-1}$ は $X_\ell$ と独立である。定理 1.5をこの二変数へ適用すれば $\ell$ 個についての結論を得る。▨

2 カイ二乗分布・t 分布・F 分布

補題 2.1. $Z\sim N(0,1)$ ならば

Z^2\sim\operatorname{Gamma}\!\left(\frac12,\frac12\right)

である。

証明.§E11.8 例 4.2により、 $Z^2$ の密度は $x>0$ で

\frac{x^{-1/2}e^{-x/2}}{\sqrt{2\pi}}

であり、 $x\leq0$ では零である。 $\Gamma(1/2)=\sqrt\pi$ は§E4.15 命題 4.1により成り立つから、この密度は $\operatorname{Gamma}(1/2,1/2)$ の密度に一致する。▨

定義 2.2. $k,m,n\in\NN$ とする。

$Z_1,\dots,Z_k$ が独立な標準正規変数であるとき、二乗和 $\sum_{i=1}^k Z_i^2$ の従う分布を自由度 $k$ のカイ二乗分布 (chi-square distribution with k degrees of freedom) $\chi^2_k$ という。この分布は平均 $k$ 、分散 $2k$ をもつ。
$Z\sim N(0,1)$ と $V\sim\chi^2_k$ が独立であるとき、 $Z/\sqrt{V/k}$ の従う分布を自由度 $k$ の $t$ 分布 (Student's t-distribution with k degrees of freedom) $t_k$ という。
$U\sim\chi^2_m$ と $V\sim\chi^2_n$ が独立であるとき、 $(U/m)/(V/n)$ の従う分布を自由度 $(m,n)$ の $F$ 分布 (F-distribution with (m, n) degrees of freedom) $F_{m,n}$ という。

証明.補題 2.1と系 1.6により

\sum_{i=1}^kZ_i^2\sim\operatorname{Gamma}\!\left(\frac k2,\frac12\right).

命題 1.3を適用すると、この分布の平均は $k$ 、分散は $2k$ である。また Gamma 分布は正の実数だけに値をとるので、 $V>0$ がほとんど確実に成り立ち、第二項と第三項の比はほとんど確実に定義される。▨

定理 2.3. $k,m,n\in\NN$ とする。 $\chi^2_k$ 、 $t_k$ 、 $F_{m,n}$ はそれぞれ次の密度をもつ。

\begin{aligned} f_{\chi^2_k}(x) &=\frac{x^{k/2-1}e^{-x/2}}{2^{k/2}\Gamma(k/2)}\mathbf1_{(0,\infty)}(x),\\ f_{t_k}(x) &=\frac{\Gamma((k+1)/2)}{\sqrt{k\pi}\,\Gamma(k/2)} \left(1+\frac{x^2}{k}\right)^{-(k+1)/2},\\ f_{F_{m,n}}(x) &=\frac{(m/n)^{m/2}}{B(m/2,n/2)}x^{m/2-1} \left(1+\frac mnx\right)^{-(m+n)/2}\mathbf1_{(0,\infty)}(x). \end{aligned}

特に $\chi^2_k$ と $F_{m,n}$ はほとんど確実に正の値をとり、その密度は $(0,\infty)$ 上で正である。両分布の位相的な支持は $[0,\infty)$ であり、 $t_k$ の支持は $\R$ である。 $t_k$ の密度は偶関数であるため、 $t_k$ は原点について対称である。

証明. カイ二乗分布の密度は、定義 2.2の証明で得た $\operatorname{Gamma}(k/2,1/2)$ の密度である。

$Z\sim N(0,1)$ と $V\sim\chi^2_k$ を独立とし、 $T=Z/\sqrt{V/k}$ とおく。 $(Z,V)$ の同時密度へ変換 $(z,v)=(t\sqrt{v/k},v)$ を施す。Jacobi 行列式の絶対値は $\sqrt{v/k}$ であるから、§E11.8 定理 5.1により $T$ の密度は

\begin{aligned} f_T(t) &=\int_0^\infty \frac{e^{-t^2v/(2k)}}{\sqrt{2\pi}} \frac{v^{k/2-1}e^{-v/2}}{2^{k/2}\Gamma(k/2)} \sqrt{\frac vk}\,dv\\ &=\frac1{\sqrt{k\pi}\,\Gamma(k/2)} \left(1+\frac{t^2}{k}\right)^{-(k+1)/2} \int_0^\infty u^{(k+1)/2-1}e^{-u}\,du\\ &=\frac{\Gamma((k+1)/2)}{\sqrt{k\pi}\,\Gamma(k/2)} \left(1+\frac{t^2}{k}\right)^{-(k+1)/2}, \end{aligned}

ここで第二の等号では $u=(1+t^2/k)v/2$ と変数変換した。この式は $t$ の偶関数であり、すべての $t\in\R$ で正である。

$U\sim\chi^2_m$ と $V\sim\chi^2_n$ を独立とする。定義 2.2の証明により、 $U$ と $V$ は共通の rate $1/2$ をもつ Gamma 変数である。定理 1.5から

R=\frac U{U+V}\sim\operatorname{Beta}\!\left(\frac m2,\frac n2\right)

を得る。 $W=(U/m)/(V/n)$ とすると

W=\frac nm\frac R{1-R},\qquad R=\frac{mW}{n+mW}.

右辺の導関数は $mn/(n+mw)^2$ である。単調な密度変換§E11.8 定理 3.1と Beta 密度を用いて整理すると、表示した $F_{m,n}$ の密度を得る。この密度はすべての $w>0$ で正である。▨

命題 2.4. $D$ を $\chi^2_k$ 、 $t_k$ 、 $F_{m,n}$ のいずれかとし、その分布関数を $G_D$ とする。 $G_D$ は $D$ の支持上で連続かつ狭義単調増加である。任意の $p\in(0,1)$ に対して

G_D(q_D(p))=p

を満たす支持内の点 $q_D(p)$ が一意に存在する。さらに

q_{t_k}(1-p)=-q_{t_k}(p)

が成り立つ。

証明.定理 2.3の三つの密度は各支持の内部で連続かつ正である。したがって支持内の $x<y$ に対して

G_D(y)-G_D(x)=\int_x^y f_D(u)\,du>0

であり、分布関数は狭義単調増加である。密度を積分して得られる分布関数は連続であり、支持の左端へ近づくと $0$ 、右端へ近づくと $1$ に収束する。中間値の定理から $q_D(p)$ が存在し、狭義単調性から一意である。 $t_k$ の密度は偶関数なので $G_{t_k}(-x)=1-G_{t_k}(x)$ が成り立ち、一意性により表示した分位点の対称性を得る。▨

3 正規ベクトルの直交射影

定理 3.1. $Z\sim N_d(0,I_d)$ とし、 $P_1,\ldots,P_s$ を実対称冪等行列とする。 $j\ne\ell$ ならば $P_jP_\ell=0$ と仮定する。このとき確率ベクトル

P_1Z,\ldots,P_sZ

は相互に独立である。 $r_j=\operatorname{rank}P_j>0$ ならば

\lVert P_jZ\rVert^2\sim\chi^2_{r_j}

である。 $r_j=0$ ならば $P_jZ=0$ かつ $\lVert P_jZ\rVert^2=0$ がほとんど確実に成り立つ。

証明. $V_j=\operatorname{im}P_j$ とおく。実対称冪等行列 $P_j$ は $V_j$ への直交射影である。 $x\in V_j$ と $y\in V_\ell$ 、 $j\ne\ell$ に対して、ある $u,v\in\R^d$ が存在して $x=P_ju$ 、 $y=P_\ell v$ と書けるので

x^\top y=u^\top P_jP_\ell v=0

である。したがって $V_1,\ldots,V_s$ は相互に直交する。

各 $V_j$ の正規直交基底 $(e_{j,1},\ldots,e_{j,r_j})$ をとる。これらを結合した正規直交系を $\R^d$ の正規直交基底へ延長し、その基底ベクトルを列にもつ直交行列を $Q$ とする。 $W=Q^\top Z$ は§E11.10 定理 4.2により $N_d(0,I_d)$ に従い、その共分散行列は対角行列である。ゆえに§E11.10 定理 7.1により $W$ の全座標は相互に独立な標準正規変数である。

$r_j>0$ の場合、直交射影の展開から

P_jZ=\sum_{h=1}^{r_j}(e_{j,h}^\top Z)e_{j,h},\qquad \lVert P_jZ\rVert^2=\sum_{h=1}^{r_j}(e_{j,h}^\top Z)^2

を得る。各 $P_jZ$ は $W$ のうち $V_j$ の基底に対応する座標だけの関数であり、異なる $j$ に属する座標集合は互いに交わらない。したがって $P_1Z,\ldots,P_sZ$ は相互に独立である。第二の表示と定義 2.2 (1)により、平方ノルムは $\chi^2_{r_j}$ に従う。 $r_j=0$ ならば $V_j=\{0\}$ であり、 $P_j$ は零写像なので、残る主張も従う。▨

例 3.2. $Y$ が $(1,0),(-1,0),(0,1),(0,-1)$ の各点を確率 $1/4$ でとる $\R^2$ 値確率ベクトルであるとする。二つの座標軸への直交射影を $P_1,P_2$ とすると、 $E[Y]=0$ かつ $\operatorname{Cov}(Y)=I_2/2$ なので $P_1Y$ と $P_2Y$ は無相関である。しかし

\lVert P_1Y\rVert^2+\lVert P_2Y\rVert^2=1

が必ず成り立ち、各平方ノルムは $0$ と $1$ をともに正の確率でとるため、二つの平方ノルムは独立でない。したがって定理 3.1の独立性には Gaussian という仮定が必要である。

4 正規標本の平均と標本分散

定理 4.1. $n\geq2$ 、 $\mu\in\R$ 、 $\sigma^2>0$ とし、 $X_1,\ldots,X_n$ を $N(\mu,\sigma^2)$ からの無作為標本とする。

\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2

とおく。このとき

\bar X\sim N\!\left(\mu,\frac{\sigma^2}{n}\right),

$\bar X$ と $S^2$ は独立であり、かつ

\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}

が成り立つ。

証明. $\mathbf1=(1,\ldots,1)^\top\in\R^n$ 、 $e=\mathbf1/\sqrt n$ とし、

Z=\frac1\sigma(X_1-\mu,\ldots,X_n-\mu)^\top

とおく。無作為標本の独立性と各成分の標準化により $Z\sim N_n(0,I_n)$ である。 $P_0=ee^\top$ と $P_1=I_n-P_0$ は、それぞれ $\R e$ とその直交補空間への直交射影であり、 $P_0P_1=0$ 、 $\operatorname{rank}P_0=1$ 、 $\operatorname{rank}P_1=n-1$ を満たす。

$e^\top Z$ は§E11.10 定理 4.2により標準正規分布に従い、

\bar X=\mu+\frac\sigma{\sqrt n}e^\top Z

であるから、 $\bar X\sim N(\mu,\sigma^2/n)$ を得る。一方、 $P_1Z$ の第 $i$ 成分は $(X_i-\bar X)/\sigma$ であるため、

\lVert P_1Z\rVert^2 =\frac1{\sigma^2}\sum_{i=1}^n(X_i-\bar X)^2 =\frac{(n-1)S^2}{\sigma^2}.

定理 3.1により $P_0Z$ と $P_1Z$ は独立であり、最後の平方ノルムは $\chi^2_{n-1}$ に従う。 $\bar X$ は $P_0Z=(e^\top Z)e$ の関数であり、 $S^2$ は $P_1Z$ の関数であるから、 $\bar X$ と $S^2$ も独立である。▨

例 4.2. $a,b\geq2$ とし、 $N(\mu_1,\sigma_1^2)$ からの大きさ $a$ の無作為標本と、 $N(\mu_2,\sigma_2^2)$ からの大きさ $b$ の無作為標本を互いに独立にとる。ただし、 $\mu_1,\mu_2\in\R$ 、 $\sigma_1^2,\sigma_2^2>0$ とする。それぞれの標本分散を $S_1^2,S_2^2$ とおけば、定理 4.1により

U=\frac{(a-1)S_1^2}{\sigma_1^2}\sim\chi^2_{a-1},\qquad V=\frac{(b-1)S_2^2}{\sigma_2^2}\sim\chi^2_{b-1}

であり、二標本の独立性から $U$ と $V$ は独立である。したがって

\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2} =\frac{U/(a-1)}{V/(b-1)}\sim F_{a-1,b-1}.

左辺は $S_2^2=0$ となる零事象上で零と定める。特に $\sigma_1^2=\sigma_2^2$ ならば $S_1^2/S_2^2\sim F_{a-1,b-1}$ である。

定理 4.3. $n\geq2$ 、 $\mu\in\R$ 、 $\sigma^2>0$ とし、 $X_1,\ldots,X_n$ を $N(\mu,\sigma^2)$ からの無作為標本とする。

\bar X=\frac1n\sum_{i=1}^nX_i,\qquad S^2=\frac1{n-1}\sum_{i=1}^n(X_i-\bar X)^2

とおく。このとき、母平均 $\mu$ に対する枢軸量

T=\frac{\bar X-\mu}{S/\sqrt n}

は自由度 $n-1$ の $t$ 分布に従う。この枢軸量は未知の $\sigma$ を含まない。

証明.定理 4.1により

Z_0=\frac{\sqrt n(\bar X-\mu)}\sigma\sim N(0,1),\qquad V=\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}

であり、 $Z_0$ と $V$ は独立である。定理 2.3により $P(V>0)=1$ なので $S>0$ もほとんど確実に成り立つ。従って

T=\frac{Z_0}{\sqrt{V/(n-1)}}

はほとんど確実に定義され、定義 2.2 (2)により $t_{n-1}$ に従う。表示式では $\sigma$ が相殺されているため、 $T$ は未知の $\sigma$ を含まない。▨

$n\geq2$ とし、正の分散をもつ正規母集団から無作為標本を取る。母標準偏差 $\sigma$ を用いた $\sqrt n(\bar X-\mu)/\sigma$ は、多変量正規分布のアフィン像による特徴づけ§E11.10 定理 4.2から、有限標本でも $N(0,1)$ に従う。母標準偏差を標本標準偏差 $S$ で置き換えた $\sqrt n(\bar X-\mu)/S$ は定理 4.3により自由度 $n-1$ の t 分布に従う。定理 2.3の密度表示から、有限の自由度をもつ t 分布は正規分布より裾が重い。自由度が $n-1$ となるのは、残差ベクトル $(X_i-\bar X)_{i=1}^n$ が $\sum_i(X_i-\bar X)=0$ を満たし、残差空間の次元が $n-1$ だからである（定理 4.1）。同じ Student 化した枢軸量は§E14.2 命題 5.3により、 $n\to\infty$ のとき $N(0,1)$ へ分布収束する。したがって、自由度 $n-1$ の t 分布は $n\to\infty$ のとき $N(0,1)$ へ分布収束する。

例 4.4. $N(5,2^2)$ から大きさ $n=8$ の無作為標本をとり、

W=\frac{7S^2}{4},\qquad T=\frac{\bar X-5}{S/\sqrt8}

とおく。定理 4.1と定理 4.3により、 $W\sim\chi^2_7$ 、 $T\sim t_7$ であり、 $\bar X$ と $S^2$ は独立である。したがって

E[W]=7,\qquad \operatorname{Var}(W)=14,\qquad P\bigl(T>q_{t_7}(0.975)\bigr)=0.025

が成り立つ。

この標本生成を独立に $2\times10^5$ 回反復した一つの数値記録では、 $W$ の標本平均は $6.9996$ 、標本分散は $14.07$ 、 $\bar X$ と $S^2$ の標本相関係数は $0.0009$ であった。また、 $q_{t_7}(0.975)$ の数値 $2.3646$ に対して、 $T>2.3646$ となった割合は $0.0251$ であった。これらはそれぞれ理論値 $7$ 、 $14$ 、 $0$ 、 $0.025$ と整合する。乱数列を変えれば記録値は変動するため、再計算では個々の小数値の一致ではなく、反復回数に応じた Monte Carlo 誤差の範囲で理論値へ近づくことを検証する。

§E14.3正規標本の分布

1 Gamma 分布と Beta 分布

2 カイ二乗分布・t 分布・F 分布

3 正規ベクトルの直交射影

4 正規標本の平均と標本分散

参考文献

前提記事