確率変数の収束概念 | 確率論入門

1 四つの収束概念

以下では、 $(\Omega,\mathcal F,P)$ を確率空間とし、 $X,X_1,X_2,\ldots$ をこの確率空間上の実数値確率変数とする。 $X_n$ と $X$ の分布関数を、それぞれ $F_n$ と $F$ で表す。

定義 1.1.

P\bigl(\{\omega\in\Omega\mid \lim_{n\to\infty}X_n(\omega)=X(\omega)\}\bigr)=1

が成り立つとき、 $X_n$ は $X$ にほとんど確実に収束する (converge almost surely) といい、 $X_n\xrightarrow{\mathrm{a.s.}}X$ と書く。

定義 1.2. すべての $\varepsilon>0$ に対して

P(|X_n-X|>\varepsilon)\longrightarrow0

が成り立つとき、 $X_n$ は $X$ に確率収束する (converge in probability) といい、 $X_n\xrightarrow{P}X$ と書く。

定義 1.3. $F$ のすべての連続点 $x\in\mathbb R$ において

F_n(x)\longrightarrow F(x)

が成り立つとき、 $X_n$ は $X$ に分布収束する (converge in distribution) といい、 $X_n\Rightarrow X$ と書く。

分布収束の定義では、 $F$ の不連続点における収束を要求しない。例えば定数確率変数へ分布収束する場合、極限分布関数はその定数で跳躍するため、その点における分布関数の値は収束を判定する条件に含まれない。

定義 1.4. $1\leq p<\infty$ とし、 $X_n,X\in L^p(P)$ とする。

\|X_n-X\|_p=\bigl(E[|X_n-X|^p]\bigr)^{1/p}\longrightarrow0

が成り立つとき、 $X_n$ は $X$ に $L^p$ 収束する ( $L^p$ convergence) という。

$p=\infty$ の場合には、 $X_n,X\in L^\infty(P)$ かつ $\|X_n-X\|_\infty\to0$ であることを $L^\infty$ 収束 ( $L^\infty$ convergence) という。

例 1.5 (すべての収束が同時に成り立つ列). $X$ を任意の有界確率変数とし、 $X_n=X+1/n$ と置く。このとき、すべての $\omega\in\Omega$ に対して $X_n(\omega)\to X(\omega)$ であり、任意の $1\leq p\leq\infty$ に対して

\|X_n-X\|_p=\frac1n

である。したがって、後で証明する含意によって、四つの収束がすべて成り立つ。

2 収束概念の含意

三つの含意は、それぞれ異なる評価によって得られる。 $L^p$ 収束には Markov の不等式を、ほとんど確実な収束には指示関数と優収束定理を用いる。確率収束から分布収束を導く際には、 $X_n$ と $X$ の差が小さい事象上で二つの分布関数を挟む。

定理 2.1. $X_n$ と $X$ を実数値確率変数とする。

$1\leq p\leq\infty$ に対して、 $X_n\to X$ が $L^p$ で成り立つならば、 $X_n\xrightarrow{P}X$ である。
$X_n\xrightarrow{\mathrm{a.s.}}X$ ならば、 $X_n\xrightarrow{P}X$ である。
$X_n\xrightarrow{P}X$ ならば、 $X_n\Rightarrow X$ である。

証明.(1)を示す。最初に $1\leq p<\infty$ とし、 $\varepsilon>0$ を固定する。非負確率変数 $|X_n-X|^p$ に Markov の不等式§E11.4 定理 3.1を適用すると、

P(|X_n-X|>\varepsilon) =P(|X_n-X|^p>\varepsilon^p) \leq\frac{E[|X_n-X|^p]}{\varepsilon^p} =\frac{\|X_n-X\|_p^p}{\varepsilon^p}

を得る。 $L^p$ 収束の仮定により右辺は $0$ に収束する。 $p=\infty$ の場合には、 $\|X_n-X\|_\infty<\varepsilon$ となるすべての $n$ について $P(|X_n-X|>\varepsilon)=0$ である。したがって、第一の含意が成り立つ。

(2)を示す。次に、 $X_n\xrightarrow{\mathrm{a.s.}}X$ とする。 $\varepsilon>0$ を固定し、

I_n=\mathbf 1_{\{|X_n-X|>\varepsilon\}}

と置く。確率1の集合上で $X_n(\omega)\to X(\omega)$ であるため、その集合上で $I_n(\omega)\to0$ である。また、 $0\leq I_n\leq1$ であり、定数関数 $1$ は確率測度 $P$ に関して可積分である。優収束定理§E9.7 定理 3.2を適用すると、

P(|X_n-X|>\varepsilon)=E[I_n]\longrightarrow0

を得る。この確率の極限が、ほとんど確実な収束から確率収束への第二の含意を与える。

(3)を示す。最後に、 $X_n\xrightarrow{P}X$ とし、 $F$ の連続点 $x$ を固定する。任意の $\delta>0$ に対して

\{X\leq x-\delta\} \subseteq \{X_n\leq x\}\cup\{|X_n-X|>\delta\}

および

\{X_n\leq x\} \subseteq \{X\leq x+\delta\}\cup\{|X_n-X|>\delta\}

が成り立つ。したがって、

F(x-\delta)-P(|X_n-X|>\delta) \leq F_n(x) \leq F(x+\delta)+P(|X_n-X|>\delta)

である。 $n\to\infty$ とすると、確率収束の仮定から

F(x-\delta) \leq\liminf_{n\to\infty}F_n(x) \leq\limsup_{n\to\infty}F_n(x) \leq F(x+\delta)

を得る。 $\delta\downarrow0$ とする。分布関数の右連続性§E11.3 命題 2.2と $x$ における連続性により、両端は $F(x)$ に収束する。ゆえに $F_n(x)\to F(x)$ であり、 $X_n\Rightarrow X$ が成り立つ。▨

この定理の関係は、有限の $p$ について

L^p\text{ 収束}\Longrightarrow\text{確率収束}\Longrightarrow\text{分布収束}, \qquad \text{ほとんど確実な収束}\Longrightarrow\text{確率収束}

とまとめられる。 $L^p$ 収束とほとんど確実な収束の間には、有限の $p$ について一般の含意関係はない。

3 逆向きの含意が成立しない例

各反例では、どの確率空間と確率変数列を用いるかを明示する。収束しないという結論は、確率または $L^p$ ノルムを直接計算して確認する。

例 3.1 (確率収束してもほとんど確実に収束しない列). $\Omega=[0,1)$ に Lebesgue 確率測度を入れる。 $m\geq0$ と $0\leq k<2^m$ に対して

I_{m,k}=\left[\frac{k}{2^m},\frac{k+1}{2^m}\right), \qquad X_{2^m+k}=\mathbf 1_{I_{m,k}}

と定める。 $2^m\leq n<2^{m+1}$ ならば $P(X_n=1)=2^{-m}$ であるため、 $X_n\xrightarrow{P}0$ である。

一方、各 $m$ について $(I_{m,k})_{0\leq k<2^m}$ は $[0,1)$ の分割である。したがって、各 $\omega\in[0,1)$ について、 $2^m\leq n<2^{m+1}$ の範囲に $X_n(\omega)=1$ となる $n$ がちょうど一つある。 $m\geq1$ の各範囲には $X_n(\omega)=0$ となる $n$ もあるため、 $(X_n(\omega))$ はどの $\omega$ でも収束しない。よって、 $X_n$ は $0$ にほとんど確実には収束しない。

さらに、 $1\leq p<\infty$ に対して

\|X_n\|_p=P(X_n=1)^{1/p}=2^{-m/p}\longrightarrow0

である。この例は、有限の $p$ に対する $L^p$ 収束からほとんど確実な収束も一般には導かれないことを示す。

例 3.2 (ほとんど確実に収束しても $L^p$ 収束しない列). $\Omega=(0,1]$ に Lebesgue 確率測度を入れ、 $1\leq p<\infty$ を固定して

X_n=n^{1/p}\mathbf 1_{(0,1/n]}

と置く。各 $\omega>0$ について、十分大きな $n$ では $\omega>1/n$ となるため、 $X_n(\omega)=0$ である。したがって $X_n\xrightarrow{\mathrm{a.s.}}0$ であり、特に $X_n\xrightarrow{P}0$ である。しかし、

\|X_n\|_p^p=E[|X_n|^p]=n\,P((0,1/n])=1

であるから、 $L^p$ 収束は成り立たない。

$p=\infty$ については $Y_n=\mathbf 1_{(0,1/n]}$ と置けば、 $Y_n\to0$ はほとんど確実かつ確率的に成り立つが、 $\|Y_n\|_\infty=1$ である。したがって、確率収束から $L^p$ 収束への逆向きの含意は、 $1\leq p\leq\infty$ のいずれについても一般には成立しない。

例 3.3 (分布収束しても確率収束しない列). $\Omega=\{-1,1\}$ に各点の確率が $1/2$ である確率測度を入れ、 $X(\omega)=\omega$ 、 $X_n=-X$ と置く。 $X_n$ と $X$ は同じ分布をもつため、すべての $n$ について $F_n=F$ であり、 $X_n\Rightarrow X$ である。しかし、

P(|X_n-X|>1)=1

であるから、 $X_n$ は $X$ に確率収束しない。分布収束は確率変数の同時の配置を忘れ、各変数の分布だけを比較するため、この相違が生じる。

4 極限の一意性

ほとんど確実な収束、確率収束、および $L^p$ 収束の極限は、ほとんど至る所で一意である。分布収束では、極限確率変数そのものではなく、その分布が一意に定まる。この結論を分布関数から導くため、分布関数の不連続点について準備する。

補題 4.1. 分布関数 $F$ の不連続点全体は高々可算である。

証明. $F$ は非減少かつ右連続である。 $F(x-)=\sup_{y<x}F(y)$ と置くと、 $x$ が不連続点であることと $F(x-)<F(x)$ であることは同値である。各不連続点 $x$ に対し、開区間 $(F(x-),F(x))$ に含まれる最初の有理数を、有理数の固定した列挙から選んで $q_x$ とする。

$x<y$ ならば $F(x)\leq F(y-)$ であるため、区間 $(F(x-),F(x))$ と $(F(y-),F(y))$ は交わらない。したがって $x\mapsto q_x$ は有理数全体への単射である。有理数全体は可算であるから、 $F$ の不連続点全体も高々可算である。▨

定理 4.2. 次が成り立つ。

$X_n\xrightarrow{\mathrm{a.s.}}X$ かつ $X_n\xrightarrow{\mathrm{a.s.}}Y$ ならば、 $X=Y$ がほとんど至る所で成り立つ。
$X_n\xrightarrow{P}X$ かつ $X_n\xrightarrow{P}Y$ ならば、 $X=Y$ がほとんど至る所で成り立つ。
$X_n\to X$ かつ $X_n\to Y$ が同じ $L^p$ で成り立つならば、 $X=Y$ がほとんど至る所で成り立つ。
$X_n\Rightarrow X$ かつ $X_n\Rightarrow Y$ ならば、 $X$ と $Y$ の分布は等しい。

証明.(1)を示す。 $X_n(\omega)\to X(\omega)$ となる確率1の集合と、 $X_n(\omega)\to Y(\omega)$ となる確率1の集合との共通部分も確率1である。その共通部分上では実数列の極限の一意性により $X(\omega)=Y(\omega)$ である。

(2)を示す。任意の $\varepsilon>0$ に対して三角不等式から

P(|X-Y|>\varepsilon) \leq P(|X-X_n|>\varepsilon/2)+P(|X_n-Y|>\varepsilon/2)

を得る。 $n\to\infty$ とすると右辺は $0$ に収束するため、 $P(|X-Y|>\varepsilon)=0$ である。 $\{|X-Y|>0\}=\bigcup_{m\geq1}\{|X-Y|>1/m\}$ であるから、可算劣加法性により $P(X\ne Y)=0$ となる。

(3)を示す。既に証明した定理 2.1 (1)と(2)から従う。

(4)を示す。 $X$ と $Y$ の分布関数をそれぞれ $F$ と $G$ とする。補題 4.1により、 $F$ と $G$ の不連続点の和集合 $D$ は高々可算である。 $x\notin D$ ならば、分布収束の定義から

F(x)=\lim_{n\to\infty}F_n(x)=G(x)

である。 $\mathbb R\setminus D$ は稠密であるため、任意の $x\in\mathbb R$ に対して $x_k>x$ 、 $x_k\downarrow x$ 、 $x_k\notin D$ を満たす列を取ることができる。分布関数の右連続性から

F(x)=\lim_{k\to\infty}F(x_k) =\lim_{k\to\infty}G(x_k)=G(x)

を得る。したがって $F=G$ であり、分布関数による分布の一意性§E11.3 定理 2.3により、 $X$ と $Y$ の分布は等しい。▨

注意 4.3 (分布極限の一意性が意味すること). 分布収束の極限は分布として一意であるが、同じ確率空間上の確率変数としてほとんど至る所で一意とは限らない。例 3.3の $X$ と $-X$ は異なる確率変数であるが、同じ分布をもつ。

5 演習

問題 5.1.

$X_n\xrightarrow{P}X$ とし、 $a,b\in\mathbb R$ とする。定義だけを用いて、 $aX_n+b\xrightarrow{P}aX+b$ を証明せよ。
例 3.1について、 $X_n\Rightarrow0$ が分布関数の定義からも成り立つことを確認せよ。また、 $\limsup_n\{X_n=1\}=\Omega$ であることを示せ。
$X_n\Rightarrow c$ とし、 $c$ を定数とする。任意の $\varepsilon>0$ に対して分布関数を $c-\varepsilon$ と $c+\varepsilon$ で評価し、 $X_n\xrightarrow{P}c$ を証明せよ。

§E11.12確率変数の収束概念

1 四つの収束概念

2 収束概念の含意

3 逆向きの含意が成立しない例

4 極限の一意性

5 演習

参考文献

前提記事