畳み込みと母関数 | 確率論入門

1 離散分布の畳み込み

定義 1.1. $p,q:\mathbb{R}\to[0,1]$ を離散確率分布の確率質量関数とし、正の質量をもつ点の集合を

D_p=\{x\in\mathbb{R}:p(x)>0\}, \qquad D_q=\{y\in\mathbb{R}:q(y)>0\}

とおく。 $D_p,D_q$ は高々可算である。 $p$ と $q$ の畳み込み (discrete convolution) を

(p*q)(z)=\sum_{x\in D_p}p(x)q(z-x)

によって定める。各項が非負であるため、和は $D_p$ の列挙の順序に依存しない。

1.1 証明方針

和が $z$ になる事象を、 $X$ の正質量点 $x\in D_{p_X}$ ごとの事象 $\{X=x,Y=z-x\}$ の非交和へ分解する。確率の可算加法性を適用した後、独立性によって各項を二つの確率質量の積へ分解する。

定理 1.2. $X,Y$ を独立な離散確率変数とし、確率質量関数をそれぞれ $p_X,p_Y$ とする。このとき $S=X+Y$ の確率質量関数は

p_S(z)=(p_X*p_Y)(z) =\sum_{x\in D_{p_X}}p_X(x)p_Y(z-x)

である。

証明. $D_X=D_{p_X}$ および $N=\{X\notin D_X\}$ とおく。 $D_X$ は $X$ の正の質量をもつ点をすべて含み、確率質量関数の総和は $1$ であるから、

P(N)=1-P(X\in D_X)=1-\sum_{x\in D_X}p_X(x)=0

である。事象の完全な等式は

\{X+Y=z\}\setminus N =\bigsqcup_{x\in D_X}\{X=x,Y=z-x\}

であり、右辺は互いに交わらない事象の高々可算な和である。 $P(N)=0$ 、確率の可算加法性および独立性から、

\begin{aligned} P(X+Y=z) &=\sum_{x\in D_X}P(X=x,Y=z-x)\\ &=\sum_{x\in D_X}p_X(x)p_Y(z-x) \end{aligned}

を得る。各項は非負であるため、二重和を用いて全質量を確認するときにも数え上げ測度に対する Tonelli の定理を適用することができる。▨

例 1.3 (独立な Bernoulli 確率変数の和). $X,Y$ を独立とし、 $X$ は母数 $p$ 、 $Y$ は母数 $q$ の Bernoulli 分布に従うとする。畳み込みを各値で計算すると、

\begin{aligned} P(X+Y=0)&=(1-p)(1-q),\\ P(X+Y=1)&=p(1-q)+(1-p)q,\\ P(X+Y=2)&=pq. \end{aligned}

三つの値の和は $1$ である。 $p=q$ の場合には、母数 $p$ 、試行回数 $2$ の二項分布に一致する。

2 密度の畳み込み

定義 2.1. 非負 Borel 可測関数 $f,g:\mathbb{R}\to[0,\infty]$ に対して、畳み込み (convolution of densities) を

(f*g)(z)=\int_{\mathbb{R}}f(x)g(z-x)\,dx

によって定める。値 $+\infty$ を許す。 $f,g$ が確率密度である場合には、後の定理により $f*g$ はほとんど至る所で有限な確率密度になる。

2.1 証明方針

独立性によって $(X,Y)$ の同時分布を積分布へ置き換え、積測度の密度が $f_X(x)f_Y(y)$ であることを Tonelli の定理で確認する。加法写像の逆像を表す非負関数 $\mathbf{1}_B(x+y)f_X(x)f_Y(y)$ へ Tonelli の定理を適用し、 $z=x+y$ と置換して $z$ を外側の変数にする。内側に残る積分を畳み込み密度として同定する。

定理 2.2. $X,Y$ を独立な実数値確率変数とし、それぞれ Lebesgue 密度 $f_X,f_Y$ をもつとする。このとき $S=X+Y$ は Lebesgue 密度

f_S(z)=(f_X*f_Y)(z) =\int_{\mathbb{R}}f_X(x)f_Y(z-x)\,dx

をもつ。

証明. 独立性の積分布による特徴づけ§E11.7 定理 2.1から、 $(X,Y)$ の同時分布は $\mu_X\otimes\mu_Y$ である。この積測度の密度が $(x,y)\mapsto f_X(x)f_Y(y)$ であることは、非負関数に対する§E9.11 定理 2.3を Borel 集合 $E\subset\mathbb{R}^2$ の指示関数へ適用して

\int_Ef_X(x)f_Y(y)\,d(x,y) =\int_{\mathbb{R}}f_X(x) \left(\int_{E_x}f_Y(y)\,dy\right)dx =(\mu_X\otimes\mu_Y)(E)

と確認することができる。Borel 集合 $B\subset\mathbb{R}$ に対して、

P(S\in B) =\int_{\mathbb{R}^2}\mathbf{1}_B(x+y)f_X(x)f_Y(y)\,d(x,y).

被積分関数は非負であるため、積分値の有限性を先に仮定せず§E9.11 定理 2.3を適用することができる。固定した $x$ について $z=x+y$ と置換し、再び Tonelli の定理を用いると、

\begin{aligned} P(S\in B) &=\int_{\mathbb{R}}\int_{\mathbb{R}} \mathbf{1}_B(x+y)f_X(x)f_Y(y)\,dy\,dx\\ &=\int_{\mathbb{R}}\int_{\mathbb{R}} \mathbf{1}_B(z)f_X(x)f_Y(z-x)\,dz\,dx\\ &=\int_B\left(\int_{\mathbb{R}}f_X(x)f_Y(z-x)\,dx\right)dz. \end{aligned}

したがって、括弧内の関数が $S$ の密度である。特に $B=\mathbb{R}$ とするとその積分は $1$ であるため、畳み込みはほとんど至る所で有限である。▨

注意 2.3 (Tonelli の定理と Fubini の定理の使い分け).定理 2.2の被積分関数は非負であるため、Tonelli の定理を用いた。一方、符号をもつ Borel 可測関数 $\varphi$ に対して

E[\varphi(X+Y)] =\int_{\mathbb{R}^2}\varphi(x+y)f_X(x)f_Y(y)\,d(x,y)

の積分順序を交換する場合には、

\int_{\mathbb{R}^2}|\varphi(x+y)|f_X(x)f_Y(y)\,d(x,y)<\infty

を先に確認して§E9.11 定理 3.2を適用する必要がある。条件付き収束だけでは積分順序を交換することができない。

例 2.4 (二つの一様分布の畳み込み). $X,Y$ を独立とし、ともに区間 $(0,1)$ 上の一様分布に従うとする。 $f_X=f_Y=\mathbf{1}_{(0,1)}$ であるから、

f_{X+Y}(z) =\int_{\mathbb{R}}\mathbf{1}_{(0,1)}(x) \mathbf{1}_{(0,1)}(z-x)\,dx

は区間 $(0,1)\cap(z-1,z)$ の長さに等しい。したがって、

f_{X+Y}(z)= \begin{cases} z,&0<z\leq1,\\ 2-z,&1<z<2,\\ 0,&\text{otherwise} \end{cases}

である。規格化は

\int_0^1z\,dz+\int_1^2(2-z)\,dz =\frac12+\frac12=1

と再計算することができる。

3 確率母関数

定義 3.1. $N$ を非負整数値確率変数とする。 $|s|<1$ に対する

G_N(s)=E[s^N] =\sum_{n=0}^{\infty}P(N=n)s^n

を $N$ の確率母関数 (probability generating function) という。さらに $G_N(1)=1$ と定める。 $s=0,n=0$ では $0^0=1$ と定める。

$|s|<1$ では $|s^N|\leq1$ であるため級数は絶対収束し、 $s=0$ は定義域の内点である。 $s=1$ では確率の総和から $G_N(1)=1$ である。

3.1 証明方針

閉区間 $[-r,r]\subset(-1,1)$ を固定する。 $0\leq j\leq k$ の各導関数級数について、指数減衰 $r^{n-j}$ が多項式増大 $n^j$ を抑えることを用い、各項を総和可能な $C_{j,r}P(N=n)$ で一様に支配する。Weierstrass の判定法を各階へ適用して項別微分を反復する。最後に $s\uparrow1$ では非負項へ単調収束定理を適用する。

定理 3.2. $N$ を非負整数値確率変数とする。任意の整数 $k\geq1$ と $|s|<1$ に対して、

G_N^{(k)}(s) =E[(N)_k s^{N-k}\mathbf{1}_{\{N\geq k\}}] =\sum_{n=k}^{\infty}(n)_kP(N=n)s^{n-k},

ただし $(n)_k=n(n-1)\cdots(n-k+1)$ とする。また、拡張実数値の等式として

G_N^{(k)}(1-) =\lim_{s\uparrow1}G_N^{(k)}(s) =E[(N)_k]

が成り立つ。特に、対応する積率が有限ならば

E[N]=G_N'(1-), \qquad E[N^2]=G_N''(1-)+G_N'(1-)

である。

証明. $0<r<1$ を固定する。 $n\geq k$ に対して $(n)_k\leq n^k$ であり、 $0\leq j\leq k$ と $n\geq j$ に対して

(n)_j\leq n^j, \qquad n^jr^{n-j}\leq C_{j,r}

を満たす有限な定数 $C_{j,r}=\sup_{n\geq j}n^jr^{n-j}$ をとることができる。ただし $j=n=0$ では $n^j=1$ とする。 $|s|\leq r$ ならば

\left|(n)_jP(N=n)s^{n-j}\right| \leq C_{j,r}P(N=n),

右辺の $n$ に関する総和は $C_{j,r}$ である。したがって、Weierstrass の判定法§D1.22 定理 5.2により、 $0\leq j\leq k$ のすべての導関数候補級数が $[-r,r]$ 上で一様収束する。元の級数が $s=0$ で収束することを出発点とし、項別微分定理§D1.22 定理 4.2を $j=1,\ldots,k$ の順に反復すると、 $k$ 階までの微分公式を得る。任意の $s\in(-1,1)$ はある区間 $[-r,r]$ に含まれるため、結論は $(-1,1)$ 全体で成り立つ。

各 $n\geq k$ について $(n)_ks^{n-k}$ は $0\leq s<1$ を通って $s\uparrow1$ とすると $(n)_k$ へ単調に増加する。数え上げ測度に対する単調収束定理から

\lim_{s\uparrow1}\sum_{n=k}^{\infty}(n)_kP(N=n)s^{n-k} =\sum_{n=k}^{\infty}(n)_kP(N=n)

を得る。最後の二式は $(N)_1=N$ と $(N)_2=N^2-N$ から従う。▨

4 積率母関数

定義 4.1. $X$ を実数値確率変数とする。ある $\delta>0$ が存在し、すべての $t\in(-\delta,\delta)$ で

M_X(t)=E[e^{tX}]<\infty

となるとき、 $M_X$ を $X$ の積率母関数 (moment generating function) という。

零の片側だけで有限であるという条件では、正側または負側の裾を同時に制御することができない。零の開近傍での有限性が、すべての積率と微分のための両側の優関数を与える。

4.1 証明方針

固定した $t$ の両側に閉区間 $[t-a,t+a]\subset(-\delta,\delta)$ をとる。正の裾は $e^{(t+a)X}$ 、負の裾は $e^{(t-a)X}$ で支配する。 $k$ 階微分候補の差分商を平均値の定理で評価し、 $|h|<a/2$ に共通な可積分優関数を構成する。各階で Lebesgue の優収束定理を適用し、帰納的に微分と期待値を交換する。

定理 4.2. $M_X$ が開区間 $(-\delta,\delta)$ で有限であるとする。このとき $M_X$ は同区間で無限回微分可能であり、任意の整数 $k\geq0$ と $t\in(-\delta,\delta)$ に対して

M_X^{(k)}(t)=E[X^ke^{tX}]

が成り立つ。特に、すべての絶対積率が有限であり、

M_X^{(k)}(0)=E[X^k]

である。

証明. $t\in(-\delta,\delta)$ を固定し、 $[t-a,t+a]\subset(-\delta,\delta)$ を満たす $a>0$ を選ぶ。任意の整数 $k\geq0$ に対して、指数関数の級数から $u^k\leq k!e^u$ が $u\geq0$ で成り立つ。したがって、 $u=a|x|/2$ と置くことにより、ある定数 $C_{k,a}>0$ が存在して

|x|^ke^{tx} \leq C_{k,a}\bigl(e^{(t+a)x}+e^{(t-a)x}\bigr)

がすべての $x\in\mathbb{R}$ で成り立つ。 $x\geq0$ では第一項、 $x<0$ では第二項を用いればよい。右辺の期待値は $M_X(t+a)+M_X(t-a)<\infty$ であるため、左辺は可積分である。

$F_k(t)=E[X^ke^{tX}]$ とおく。上の評価により $F_k(t)$ はすべての $k\geq0$ について絶対収束する。 $|h|<a/2$ とすると、平均値の定理から

\left|\frac{x^ke^{(t+h)x}-x^ke^{tx}}{h}\right| \leq |x|^{k+1}e^{tx+|h||x|}

である。右辺が $h$ に依存しない可積分関数で支配されることを、正負の裾に分けて確認する。実際、

|x|^{k+1}e^{tx+|h||x|} \leq C'_{k,a} \left( e^{(t+a)x}\mathbf{1}_{[0,\infty)}(x) +e^{(t-a)x}\mathbf{1}_{(-\infty,0)}(x) \right)

である。 $x\geq0$ では $|h|\leq a/2$ の残りの $a/2$ で多項式を吸収し、 $x<0$ では $e^{(t-a)x}$ までの残りの $a/2$ で同様に吸収した。右辺の期待値は $M_X(t+a)+M_X(t-a)<\infty$ 以下であり、 $h$ に依存しない。

したがって、Lebesgue の優収束定理により

F_k'(t)=E[X^{k+1}e^{tX}]=F_{k+1}(t)

である。 $F_0=M_X$ から帰納すると、任意の $k$ に対する微分公式を得る。

$t=0$ の評価は $E[|X|^k]<\infty$ を与え、微分公式へ $t=0$ を代入すると積率の式を得る。▨

5 独立な和に対する積公式

5.1 証明方針

独立な確率変数へ別々に Borel 可測関数を合成しても独立性が保たれることを逆像から確認する。確率母関数では有界な $s^X,s^Y$ 、積率母関数では仮定により可積分な $e^{tX},e^{tY}$ へ期待値の積への分解を適用し、指数法則で和を積へ移す。

定理 5.1. $X,Y$ を独立な確率変数とする。

$X,Y$ が非負整数値ならば、任意の $0\leq s\leq1$ に対して $G_{X+Y}(s)=G_X(s)G_Y(s)$ が成り立つ。
$M_X(t)$ と $M_Y(t)$ が有限である実数 $t$ に対して $M_{X+Y}(t)=M_X(t)M_Y(t)$ が成り立つ。特に二つの積率母関数が共通の零の近傍で有限ならば、 $X+Y$ の積率母関数もその近傍で有限である。

証明. 独立な確率変数へそれぞれ Borel 可測関数を合成して得られる確率変数も独立である。実際、合成後の Borel 集合の逆像は、それぞれ $\sigma(X)$ と $\sigma(Y)$ に属する。

$0\leq s\leq1$ では $s^X,s^Y$ は有界であり、したがって可積分である。§E11.7 定理 3.1を用いると、

G_{X+Y}(s) =E[s^{X+Y}] =E[s^Xs^Y] =E[s^X]E[s^Y]

を得る。

$M_X(t),M_Y(t)<\infty$ ならば、非負確率変数 $e^{tX},e^{tY}$ は可積分である。同じ期待値の分解を適用すると、

M_{X+Y}(t) =E[e^{t(X+Y)}] =E[e^{tX}e^{tY}] =M_X(t)M_Y(t)

となる。右辺は有限である。▨

例 5.2 (独立な Poisson 分布の和). $X$ が母数 $\lambda>0$ 、 $Y$ が母数 $\mu>0$ の Poisson 分布に従い、二つが独立であるとする。指数関数の級数から

G_X(s) =e^{-\lambda}\sum_{n=0}^{\infty}\frac{(\lambda s)^n}{n!} =e^{\lambda(s-1)}

であり、同様に $G_Y(s)=e^{\mu(s-1)}$ である。したがって、

G_{X+Y}(s)=e^{(\lambda+\mu)(s-1)}.

右辺を冪級数へ戻すと

G_{X+Y}(s) =e^{-(\lambda+\mu)} \sum_{n=0}^{\infty}\frac{(\lambda+\mu)^n}{n!}s^n

である。係数を比較すると、 $X+Y$ は母数 $\lambda+\mu$ の Poisson 分布に従う。

6 積率母関数による分布の一意性

次の一意性定理は実 Laplace 変換の一意性に基づく。本記事では主張として用意し、証明は参照文献に委ねる。また、この定理を本記事の他の定理または例の証明には用いない。

定理 6.1. $X,Y$ を実数値確率変数とする。ある $\delta>0$ に対して $M_X,M_Y$ が $(-\delta,\delta)$ で有限であり、

M_X(t)=M_Y(t) \qquad(-\delta<t<\delta)

が成り立つならば、 $X$ と $Y$ の分布は等しい。

零の近傍での有限性は本質的な仮定である。すべての積率が一致するという条件だけでは、一般には分布を一意に定めることができない。

7 演習

問題 7.1 (Poisson 分布の階乗積率). $N$ が母数 $\lambda>0$ の Poisson 分布に従うとする。確率母関数を微分して $E[N]$ と $\operatorname{Var}(N)$ を求めよ。

解答.

$G_N(s)=e^{\lambda(s-1)}$ であるから、

G_N'(1-)=\lambda, \qquad G_N''(1-)=\lambda^2.

定理 3.2により $E[N]=\lambda$ および $E[N^2]=\lambda^2+\lambda$ である。したがって、

\operatorname{Var}(N) =E[N^2]-E[N]^2 =\lambda.

▨

問題 7.2.

例 2.4の畳み込みを、 $y$ を先に積分する計算と $x$ を先に積分する計算の二通りで導き、Tonelli の定理のどの仮定が満たされるかを述べよ。
$X,Y$ を独立な非負整数値確率変数とする。畳み込み公式を確率母関数へ代入し、非負二重級数に対する Tonelli の定理によって定理 5.1の第一の公式を別に証明せよ。
定理 4.2の証明で用いた優関数を $k=2$ について具体的に書き、 $M_X(t-a)$ と $M_X(t+a)$ の有限性が二つの裾をそれぞれどのように支配するかを示せ。
独立な確率変数の密度が $f_X(x)=e^{-x}\mathbf{1}_{(0,\infty)}(x)$ と $f_Y(y)=e^{-y}\mathbf{1}_{(0,\infty)}(y)$ であるとする。畳み込みから $X+Y$ の密度を求め、積率母関数の積公式と積率の計算が整合することを確認せよ。

8 扱う範囲の境界と次の記事

積率母関数が零の近傍で有限でない分布には、本記事の微分公式と一意性定理を適用することができない。すべての確率分布について定義される特性関数、その反転公式、および Lévy の連続性定理は、本単元後半の「特性関数と Lévy の連続性定理」で扱う。積率不定問題は、本記事では扱わない。後続の記事では、多変量正規分布のアフィン変換と独立性を扱い、本記事の密度変換と独立な和の公式を具体的な分布族へ適用する。

§E11.9畳み込みと母関数

1 離散分布の畳み込み

1.1 証明方針

2 密度の畳み込み

2.1 証明方針

3 確率母関数

3.1 証明方針

4 積率母関数

4.1 証明方針

5 独立な和に対する積公式

5.1 証明方針

6 積率母関数による分布の一意性

7 演習

8 扱う範囲の境界と次の記事

参考文献

前提記事