完備性と Lehmann–Scheffé の定理 | 数理統計 I

1 完備性と不偏推定量の一意性

定義 1.1 (完備性). $(P_\theta)_{\theta\in\Theta}$ を可測空間 $(\mathcal X,\mathcal A)$ 上の非空な確率測度族とし、 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ を統計量とする。任意の実数値 $\mathcal B$ 可測関数 $g$ について、

E_\theta|g(T)|<\infty,\qquad E_\theta[g(T)]=0 \quad(\theta\in\Theta)

ならば、すべての $\theta\in\Theta$ で

P_\theta(g(T)=0)=1

となるとき、 $T$ は族 $(P_\theta)_{\theta\in\Theta}$ に対して完備 (complete statistic) であるという。恒等写像を統計量としたときに完備である確率測度族を、完備な分布族という。完備かつ十分な統計量を完備十分統計量 (complete sufficient statistic) という。

例 1.2 (十分だが完備でない統計量). $X_1,X_2$ を成功確率 $p\in(0,1)$ の Bernoulli 分布からの独立同分布標本とし、

T=(X_1,X_2)

と置く。 $T$ は標本全体の恒等写像であるため、 $T$ を与えたときの標本の条件付き分布は $T$ における一点分布であり、 $p$ に依存しない。したがって $T$ は十分統計量である。

一方、 $g(t_1,t_2)=t_1-t_2$ と置くと、すべての $p\in(0,1)$ に対して

E_p[g(T)]=E_p[X_1]-E_p[X_2]=p-p=0

である。しかし、

P_p(g(T)\ne0) =P_p(X_1\ne X_2) =2p(1-p)>0

であるから、 $g(T)$ はほとんど確実に零ではない。したがって $T$ は完備ではない。

定義 1.3 (有界完備性). $(P_\theta)_{\theta\in\Theta}$ を $(\mathcal X,\mathcal A)$ 上の非空な確率測度族、 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ を統計量とする。任意の有界実数値 $\mathcal B$ 可測関数 $g$ に対し、すべての $\theta\in\Theta$ で $E_\theta[g(T)]=0$ ならば、すべての $\theta\in\Theta$ で $P_\theta(g(T)=0)=1$ となるとき、 $T$ は族に対して有界完備 (boundedly complete statistic) であるという。

命題 1.4. 非空な確率測度族に対して完備な統計量は、その族に対して有界完備である。

証明. 有界な実数値関数は各確率測度について可積分であるから、完備性の条件を適用することができる。▨

命題 1.5. $(P_\theta)_{\theta\in\Theta}$ に対して統計量 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ が完備であるとする。 $h_1,h_2:\mathcal Y\to\R$ を可測関数とし、すべての $\theta\in\Theta$ で $E_\theta|h_j(T)|<\infty$ $(j=1,2)$ および

E_\theta[h_1(T)]=E_\theta[h_2(T)]

が成り立つとする。このとき、すべての $\theta\in\Theta$ について $h_1(T)=h_2(T)$ が $P_\theta$ -ほとんど確実に成り立つ。

証明. $g=h_1-h_2$ と置く。 $g(T)$ は各 $P_\theta$ で可積分であり、すべての $\theta$ について期待値が零である。完備性により、各 $\theta$ で $g(T)=0$ がほとんど確実に成り立つ。▨

2 Lehmann–Scheffé の定理

定義 2.1 (一様最小分散不偏推定量). $(P_\theta)_{\theta\in\Theta}$ を $(\mathcal X,\mathcal A)$ 上の非空な確率測度族、 $\tau:\Theta\to\R$ を推定対象とする。実数値可測関数 $\delta$ が、すべての $\theta\in\Theta$ について

E_\theta[\delta]=\tau(\theta),\qquad E_\theta[\delta^2]<\infty

を満たすとする。同じ二条件を満たす任意の実数値可測関数 $\delta'$ に対して、すべての $\theta\in\Theta$ で

\operatorname{Var}_\theta(\delta)\leq\operatorname{Var}_\theta(\delta')

となるとき、 $\delta$ を $\tau$ の一様最小分散不偏推定量 (uniformly minimum variance unbiased estimator)（UMVUE）という。

定理 2.2 (Lehmann–Scheffé の定理). $(\mathcal X,\mathcal A)$ 上の非空な確率測度族 $(P_\theta)_{\theta\in\Theta}$ がシグマ有限測度に支配され、統計量 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ がこの族に対して完備かつ十分であるとする。 $\tau:\Theta\to\R$ とし、可測関数 $h:\mathcal Y\to\R$ が、すべての $\theta\in\Theta$ について

E_\theta[h(T)]=\tau(\theta),\qquad E_\theta[h(T)^2]<\infty

を満たすならば、 $h(T)$ は $\tau$ の UMVUE である。また、 $\delta$ が $\tau$ の別の UMVUE ならば、すべての $\theta\in\Theta$ について $\delta=h(T)$ が $P_\theta$ -ほとんど確実に成り立つ。

特に、すべての母数について二乗可積分な $\tau$ の不偏推定量が一つ存在すれば、それを $T$ で条件付けして得られる母数共通の推定量が UMVUE となる。

証明. $\delta$ を、すべての母数について二乗可積分な $\tau$ の任意の不偏推定量とする。§E14.9 定理 2.1により、母数に依存しない可測関数 $a:\mathcal Y\to\R$ が存在し、 $a(T)$ は各母数で二乗可積分な $\tau$ の不偏推定量であり、

\operatorname{Var}_\theta(\delta)-\operatorname{Var}_\theta(a(T)) =E_\theta[(\delta-a(T))^2]\geq0 \quad(\theta\in\Theta)

を満たす。命題 1.5を $a,h$ に適用すると、すべての $\theta$ について $a(T)=h(T)$ が $P_\theta$ -ほとんど確実に成り立つ。したがって、すべての $\theta$ で

\operatorname{Var}_\theta(\delta)-\operatorname{Var}_\theta(h(T)) =E_\theta[(\delta-h(T))^2]\geq0

である。 $\delta$ は任意であったから、 $h(T)$ は UMVUE である。

$\delta$ も UMVUE ならば、それぞれの最小性から各 $\theta$ で分散が等しい。上の等式により $E_\theta[(\delta-h(T))^2]=0$ となるので、 $\delta=h(T)$ が $P_\theta$ -ほとんど確実に成り立つ。

二乗可積分な不偏推定量 $\delta_0$ が一つ与えられた場合には、§E14.9 定理 2.1が与える共通の条件付き期待値 $h_0(T)$ が、定理の $h(T)$ に課した不偏性と二乗可積分性を満たす。したがって $h_0(T)$ に前半の結論を適用することができる。▨

3 両側 Laplace 変換の一意性

補題 3.1. $\alpha,\beta$ を $\R$ 上の有限正 Borel 測度とし、 $I\subseteq\R$ を $0$ を含む開区間とする。すべての $s\in I$ に対して

\int_{\R}e^{sx}\,d(\alpha+\beta)(x)<\infty, \qquad \int_{\R}e^{sx}\,d\alpha(x)=\int_{\R}e^{sx}\,d\beta(x)

が成り立つならば、 $\alpha=\beta$ である。

証明. $D=\{z\in\C:\operatorname{Re}z\in I\}$ と置き、 $z\in D$ に対して

H(z)=\int_{\R}e^{zx}\,d\alpha(x)-\int_{\R}e^{zx}\,d\beta(x)

と定める。§E5.3 命題 1.7 (1)により $|e^{zx}|=e^{(\operatorname{Re}z)x}$ であるから、両積分は絶対収束する。

$z_0\in D$ を取り、 $r=\operatorname{Re}z_0$ として、 $[r-2\varepsilon,r+2\varepsilon]\subset I$ を満たす $\varepsilon>0$ を取る。複素指数関数の絶対収束級数から、任意の $v\in\C$ について

|e^v-1|\leq\sum_{j=1}^{\infty}\frac{|v|^j}{j!} \leq |v|e^{|v|}

である。したがって、指数関数の加法法則§E5.3 命題 1.6を用いると、 $0<|w|<\varepsilon$ に対して

\left|\frac{e^{(z_0+w)x}-e^{z_0x}}w\right| \leq |x|e^{rx+\varepsilon|x|} \leq\frac1\varepsilon \left(e^{(r+2\varepsilon)x}+e^{(r-2\varepsilon)x}\right).

最後の不等式は、 $\varepsilon|x|\leq e^{\varepsilon|x|}$ を用い、 $x\geq0$ と $x<0$ に分けると従う。右辺は仮定により $\alpha+\beta$ について可積分である。§E5.3 命題 1.8により差商は各 $x$ で $xe^{z_0x}$ に収束するから、複素数値関数に対する優収束定理§E9.7 定理 3.2を適用すると、

H'(z_0)=\int_{\R}xe^{z_0x}\,d\alpha(x)-\int_{\R}xe^{z_0x}\,d\beta(x)

を得る。 $z_0$ は任意であったから、 $H$ は $D$ 上で正則である。

$D$ は連結な開集合であり、仮定から $H(s)=0$ がすべての $s\in I$ で成り立つ。一致の定理§E5.8 定理 3.1により $H$ は $D$ 上で恒等的に零である。特に、すべての $u\in\R$ について

\int_{\R}e^{iux}\,d\alpha(x)=\int_{\R}e^{iux}\,d\beta(x)

となる。

$H(0)=0$ より、 $m=\alpha(\R)=\beta(\R)$ である。 $m=0$ ならば両測度は零測度である。 $m>0$ ならば $\alpha/m,\beta/m$ は同じ特性関数をもつ Borel 確率測度であるから、§E11.14 定理 3.3により $\alpha/m=\beta/m$ となる。どちらの場合も $\alpha=\beta$ を得る。▨

系 3.2. $X,Y$ を実数値確率変数とする。ある $\varepsilon>0$ に対して、両者の積率母関数が $(-\varepsilon,\varepsilon)$ で有限であり、すべての $s\in(-\varepsilon,\varepsilon)$ で

E[e^{sX}]=E[e^{sY}]

ならば、 $X$ と $Y$ は同じ分布をもつ。

証明. $X,Y$ の分布をそれぞれ $\alpha,\beta$ とし、 $I=(-\varepsilon,\varepsilon)$ として補題 3.1を適用する。▨

4 一径数指数型分布族の完備性

定理 4.1. $(\mathcal X,\mathcal A,\mu)$ をシグマ有限測度空間とし、 $t:\mathcal X\to\R$ と $h:\mathcal X\to[0,\infty)$ を可測関数とする。 $\mu(\{h>0\})>0$ とし、

H=\left\{\eta\in\R:0<\int_{\mathcal X}e^{\eta t(x)}h(x)\,d\mu(x)<\infty\right\}, \qquad A(\eta)=\log\int_{\mathcal X}e^{\eta t(x)}h(x)\,d\mu(x)

と置く。 $J\subseteq H$ が非空な開区間を含むとし、 $\mu$ に関する密度

p_\eta(x)=h(x)e^{\eta t(x)-A(\eta)},\qquad\eta\in J

で族 $(P_\eta)_{\eta\in J}$ を定める。任意の $n\in\NN$ に対し、独立同分布標本の統計量

T_n=\sum_{j=1}^nt(X_j)

は族 $(P_\eta^{\otimes n})_{\eta\in J}$ に対して完備かつ十分であり、最小十分でもある。

証明.§E14.5 命題 4.2により $T_n$ は十分であり、その分布は $\R$ 上のシグマ有限測度 $\nu_n$ に関して密度 $e^{\eta s-nA(\eta)}$ をもつ。 $g:\R\to\R$ を可測関数で、すべての $\eta\in J$ について

E_\eta|g(T_n)|<\infty,\qquad E_\eta[g(T_n)]=0

を満たすものとする。 $J$ に含まれる開区間の中に $\eta_0$ を取り、 $[\eta_0-\varepsilon,\eta_0+\varepsilon]\subset J$ となる $\varepsilon>0$ を取る。 $g^+=\max(g,0)$ 、 $g^-=\max(-g,0)$ と置き、正測度

\alpha(ds)=g^+(s)e^{\eta_0s}\nu_n(ds),\qquad \beta(ds)=g^-(s)e^{\eta_0s}\nu_n(ds)

を定める。両測度の全質量の和は $e^{nA(\eta_0)}E_{\eta_0}|g(T_n)|$ であるから有限である。 $|u|<\varepsilon$ ならば、

\begin{aligned} \int_{\R}e^{us}\,d(\alpha+\beta)(s) &=e^{nA(\eta_0+u)}E_{\eta_0+u}|g(T_n)|<\infty,\\ \int_{\R}e^{us}\,d\alpha(s)-\int_{\R}e^{us}\,d\beta(s) &=e^{nA(\eta_0+u)}E_{\eta_0+u}[g(T_n)]=0. \end{aligned}

したがって補題 3.1により $\alpha=\beta$ である。

$B_+=\{s:g(s)>0\}$ と置くと、 $\beta(B_+)=0$ であるから、 $\alpha(B_+)=0$ である。ゆえに $g^+(s)e^{\eta_0s}=0$ が $\nu_n$ -ほとんど至る所で成り立つ。 $B_-=\{s:g(s)<0\}$ に同じ議論を適用すると、 $g^-(s)e^{\eta_0s}=0$ も $\nu_n$ -ほとんど至る所で成り立つ。 $e^{\eta_0s}>0$ より $g=0$ が $\nu_n$ -ほとんど至る所である。各 $\eta\in J$ における $T_n$ の分布は $\nu_n$ に絶対連続なので、すべての $\eta\in J$ で $g(T_n)=0$ がほとんど確実に成り立つ。したがって $T_n$ は完備である。

$J$ は相異なる二点を含むので、§E14.5 系 5.3により $T_n$ は最小十分でもある。▨

命題 4.2. $m\in\NN$ を固定すると、 $p\in(0,1)$ を母数とする二項分布族 $\operatorname{Bin}(m,p)$ は完備である。また、 $\lambda>0$ を母数とする Poisson 分布族 $\operatorname{Pois}(\lambda)$ は完備である。

証明. 二項分布は $\{0,\ldots,m\}$ 上の数え上げ測度に関して

p_p(k)=\binom mk\exp\left\{k\log\frac p{1-p}+m\log(1-p)\right\}

と書かれる。自然母数 $\eta=\log(p/(1-p))$ は $\R$ 全体を動くので、定理 4.1を $n=1$ に適用することができる。 Poisson 分布では

p_\lambda(k)=\frac1{k!}\exp\{k\log\lambda-\lambda\},\qquad k\in\N

であり、自然母数 $\eta=\log\lambda$ が $\R$ 全体を動く。同じ定理を適用すると完備性を得る。▨

例 4.3. $n\geq2$ とし、 $X_1,\ldots,X_n$ を成功確率 $p\in(0,1)$ の Bernoulli 分布からの独立同分布標本とする。 $T=\sum_{j=1}^nX_j$ に対して

\widehat{p^2}=\frac{T(T-1)}{n(n-1)}

は $p^2$ の UMVUE である。実際、 $X_j^2=X_j$ であるから、

T(T-1)=\sum_{i\ne j}X_iX_j, \qquad E_p[T(T-1)]=\sum_{i\ne j}E_p[X_i]E_p[X_j]=n(n-1)p^2.

また $0\leq\widehat{p^2}\leq1$ なので二乗可積分である。§E14.5 例 1.3により $T$ は十分であり、 $T\sim\operatorname{Bin}(n,p)$ と命題 4.2により完備である。したがって定理 2.2を適用すると結論を得る。

5 Basu の定理

定義 5.1 (補助統計量). $(P_\theta)_{\theta\in\Theta}$ を $(\mathcal X,\mathcal A)$ 上の非空な確率測度族とする。統計量 $V:(\mathcal X,\mathcal A)\to(\mathcal Z,\mathcal C)$ の分布が $\theta$ に依存しないとき、 $V$ をこの族の補助統計量 (ancillary statistic) という。すなわち、各 $B\in\mathcal C$ に対して $P_\theta(V\in B)$ が $\theta$ によらない定数である。

定理 5.2 (Basu の定理). $(P_\theta)_{\theta\in\Theta}$ を $(\mathcal X,\mathcal A)$ 上の非空な確率測度族とする。統計量 $T:(\mathcal X,\mathcal A)\to(\mathcal Y,\mathcal B)$ がこの族に対して有界完備かつ十分であり、 $V:(\mathcal X,\mathcal A)\to(\mathcal Z,\mathcal C)$ が補助統計量であるならば、すべての $\theta\in\Theta$ に対して $T$ と $V$ は $P_\theta$ の下で独立である。

証明. $B\in\mathcal C$ を取り、 $c_B=P_\theta(V\in B)$ と置く。 $V$ は補助統計量なので、 $c_B$ は $\theta$ に依存しない。十分性により、有界実数値 $\mathcal B$ 可測関数 $k_B$ が存在して、すべての $\theta\in\Theta$ について

k_B(T)=E_\theta[\mathbf1_{\{V\in B\}}\mid\sigma(T)] \qquad P_\theta\text{-ほとんど確実に}

を満たす。条件付き期待値の定義で積分領域を $\mathcal X$ とすれば、 $E_\theta[k_B(T)]=c_B$ である。 $k_B-c_B$ は有界で、すべての母数において期待値が零であるから、有界完備性により $k_B(T)=c_B$ が各 $P_\theta$ の下でほとんど確実に成り立つ。

任意の $C\in\mathcal B$ に対して、条件付き期待値の定義から

\begin{aligned} P_\theta(T\in C,V\in B) &=E_\theta[\mathbf1_{\{T\in C\}}k_B(T)]\\ &=c_B P_\theta(T\in C) =P_\theta(V\in B)P_\theta(T\in C). \end{aligned}

$B,C$ は任意であるから、 $T$ と $V$ は各 $P_\theta$ の下で独立である。▨

系 5.3. $n\geq2$ とし、 $X_1,\ldots,X_n$ を $N(\mu,\sigma^2)$ からの独立同分布標本とする。ただし $\mu\in\R$ 、 $\sigma^2>0$ とする。標本平均と不偏標本分散

\overline X=\frac1n\sum_{j=1}^nX_j, \qquad S^2=\frac1{n-1}\sum_{j=1}^n(X_j-\overline X)^2

は独立である。

証明. $\sigma^2>0$ を固定し、 $\mu\in\R$ を母数とする部分モデルを考える。§E14.5 例 5.4の指数型表示では、自然統計量は $t(x)=x$ であり、自然母数 $\eta=\mu/\sigma^2$ は $\R$ 全体を動く。したがって定理 4.1により $T=\sum_jX_j$ は完備かつ十分である。

$Z_j=(X_j-\mu)/\sigma$ と置く。正規密度の変数変換により、 $Z_1,\ldots,Z_n$ は独立な標準正規変数であり、

S^2=\frac{\sigma^2}{n-1}\sum_{j=1}^n(Z_j-\overline Z)^2.

したがって、 $\sigma^2$ を固定した族において $S^2$ の分布は $\mu$ に依存せず、 $S^2$ は補助統計量である。 $T$ は完備であるから命題 1.4により有界完備でもある。したがって定理 5.2により、 $T$ と $S^2$ はこの部分モデルの各 $\mu$ で独立である。 $\overline X=T/n$ は $T$ の可測関数であるから、 $\overline X$ と $S^2$ も独立である。固定した $\sigma^2>0$ は任意であったから、すべての $(\mu,\sigma^2)$ で結論が成り立つ。▨

6 指数傾斜と積率母関数

命題 6.1. $Q$ を $\R$ 上の Borel 確率測度とし、

M_Q(s)=\int_{\R}e^{sx}\,Q(dx),\qquad H_Q=\{s\in\R:M_Q(s)<\infty\}

と置く。 $H_Q$ が $0$ の開近傍を含むとする。 $s\in H_Q$ に対して

Q_s(B)=\frac1{M_Q(s)}\int_Be^{sx}\,Q(dx),\qquad B\in\mathcal B(\R)

と定めると、 $Q_s$ は確率測度である。任意の $n\in\NN$ について、 $Q_s$ からの独立同分布標本の和は、 $s\in\tpint{H_Q}$ を母数とする族で完備かつ十分である。

証明. $s\in H_Q$ に対して $0<M_Q(s)<\infty$ であり、定義した非負密度 $e^{sx}/M_Q(s)$ の $Q$ に関する積分は1である。 $\mu=Q$ 、 $h=1$ 、 $t(x)=x$ 、 $A(s)=\log M_Q(s)$ と置くと一径数指数型分布族であり、 $\tpint{H_Q}$ は非空な開区間を含む。定理 4.1を適用すると結論を得る。▨

命題 6.2. 次の表の $Q$ について、積率母関数 $M_Q(s)$ とその有限領域 $H_Q$ は表のとおりである。 Gamma 分布は§E14.3 定義 1.1の shape と rate による母数化を用いる。指数分布 $\operatorname{Exp}(\lambda)$ は $\operatorname{Gamma}(1,\lambda)$ 、カイ二乗分布 $\chi_k^2$ は $\operatorname{Gamma}(k/2,1/2)$ である。

表の正の幾何変数 $G$ は、失敗回数を表す§E11.5 定義 1.4の幾何変数 $K$ に対して $G=K+1$ と定める。 $0<p\leq1$ とすると、

P(G=j)=p(1-p)^{j-1}\quad(j\in\NN),\qquad E[G]=\frac1p,\qquad \operatorname{Var}(G)=\frac{1-p}{p^2}.

$p=1$ の確率質量関数では $0^0=1$ とする。

基準分布 $Q$ と母数の範囲	$M_Q(s)$	$H_Q$
$\operatorname{Bin}(m,p)$ 、 $m\in\N$ 、 $0\leq p\leq1$	$(1-p+pe^s)^m$	$\R$
$\operatorname{Pois}(\lambda)$ 、 $\lambda>0$	$\exp\{\lambda(e^s-1)\}$	$\R$
正の幾何変数 $G$ 、 $0<p<1$	$\dfrac{pe^s}{1-(1-p)e^s}$	$(-\infty,-\log(1-p))$
$U(a,b)$ 、 $a<b$	$\dfrac{e^{sb}-e^{sa}}{s(b-a)}$ （ $s\ne0$ ）	$\R$
$\operatorname{Exp}(\lambda)$ 、 $\lambda>0$	$\dfrac\lambda{\lambda-s}$	$(-\infty,\lambda)$
$\operatorname{Gamma}(\alpha,\lambda)$ 、 $\alpha,\lambda>0$	$\left(\dfrac\lambda{\lambda-s}\right)^\alpha$	$(-\infty,\lambda)$
$N(\mu,\sigma^2)$ 、 $\mu\in\R$ 、 $\sigma^2>0$	$\exp\{\mu s+\sigma^2s^2/2\}$	$\R$
$\chi_k^2$ 、 $k\in\NN$	$(1-2s)^{-k/2}$	$(-\infty,1/2)$

すべての行で $M_Q(0)=1$ であり、一様分布の式は $s=0$ でこの値に連続延長する。正の幾何変数で $p=1$ の場合は $G=1$ がほとんど確実に成り立ち、 $M_Q(s)=e^s$ 、 $H_Q=\R$ である。表の各 $Q$ から作った命題 6.1の族 $(Q_s)_{s\in H_Q}$ では、独立同分布標本の和が完備かつ十分である。

証明. 演習とする（問題 7.2）。▨

7 演習

問題 7.1.命題 4.2に対して、次の方法で別証明を与えよ。

二項分布の期待値零の等式を $q=p/(1-p)$ の多項式に書き換え、その係数を比較せよ。
Poisson 分布の期待値零の等式を冪級数に書き換え、項別微分によって係数を求めよ。項別微分の前に絶対収束を確認せよ。

解答.

(1)を示す。 $g:\{0,\ldots,m\}\to\R$ がすべての $p\in(0,1)$ に対して期待値零であるとする。期待値の等式を $(1-p)^m>0$ で割り、 $q=p/(1-p)$ と置くと、

F(q):=\sum_{j=0}^m g(j)\binom mj q^j=0\qquad(q>0)

となる。 $F$ は多項式であり、正の半直線上で恒等零なので、各 $j\in\{0,\ldots,m\}$ について $F^{(j)}(q)=0$ が $q>0$ で成り立つ。各導関数は連続であるから $F^{(j)}(0)=0$ であり、

0=F^{(j)}(0)=j!\binom mj g(j)

を得る。 $\binom mj>0$ より $g(j)=0$ であり、完備性が従う。

(2)を示す。 $g:\N\to\R$ がすべての $\lambda>0$ について可積分で、期待値零であるとする。 Poisson 分布の確率質量関数を代入すると、

\sum_{j=0}^{\infty}|g(j)|\frac{\lambda^j}{j!}<\infty, \qquad F(\lambda):=\sum_{j=0}^{\infty}g(j)\frac{\lambda^j}{j!}=0 \quad(\lambda>0)

である。任意の $R>0$ に対して第一の級数は $\lambda=R$ で収束するので、 $|x|<R$ において $F(x)$ の冪級数は絶対収束する。 $R$ は任意であるから、収束半径は無限大である。§D1.23 定理 4.3を反復すると、 $F$ は $\R$ 上で何回でも微分可能であり、 $F^{(j)}(0)=g(j)$ となる。 $F$ は $(0,\infty)$ 上で恒等零なので、その導関数も同区間で零である。原点での連続性から $g(j)=F^{(j)}(0)=0$ を得る。したがって Poisson 分布族も完備である。▨

問題 7.2.命題 6.2を証明せよ。各行について指数傾斜 $Q_s$ の分布を同定し、独立同分布標本の和が完備十分となることを示せ。さらに、指数分布の積率母関数を零で二回微分し、一次積率、二次積率および分散を求めよ。

解答.

$Q=\operatorname{Bin}(m,p)$ の場合、二項定理から

M_Q(s)=\sum_{j=0}^m\binom mjp^j(1-p)^{m-j}e^{sj} =(1-p+pe^s)^m

である。有限和なので全 $s\in\R$ で有限である。 $d=1-p+pe^s>0$ 、 $p_s=pe^s/d$ と置くと、 $1-p_s=(1-p)/d$ であるから、指数傾斜の確率質量関数は

Q_s(\{j\})=\binom mjp_s^j(1-p_s)^{m-j}.

したがって $Q_s=\operatorname{Bin}(m,p_s)$ である。 $p=0,1$ および $m=0$ でも、 $0^0=1$ の規約で同じ計算が成り立つ。

$Q=\operatorname{Pois}(\lambda)$ の場合、指数関数の級数から

M_Q(s)=e^{-\lambda}\sum_{j=0}^{\infty}\frac{(\lambda e^s)^j}{j!} =\exp\{\lambda(e^s-1)\}

であり、全実数で有限である。正規化した質量は $e^{-\lambda e^s}(\lambda e^s)^j/j!$ なので、 $Q_s=\operatorname{Pois}(\lambda e^s)$ である。

正の幾何変数については、 $G=K+1$ の定義から

P(G=j)=P(K=j-1)=p(1-p)^{j-1}\qquad(j\in\NN)

である。§E11.5 命題 1.5と期待値の線形性により

E[G]=E[K]+1=\frac{1-p}{p}+1=\frac1p, \qquad \operatorname{Var}(G)=\operatorname{Var}(K)=\frac{1-p}{p^2}.

$0<p<1$ のとき、 $q=1-p$ と置くと、

M_Q(s)=pe^s\sum_{j=0}^{\infty}(qe^s)^j =\frac{pe^s}{1-qe^s}\qquad(qe^s<1).

$qe^s\geq1$ では級数の一般項が零に収束しないので発散し、有限領域は $s<-\log q$ である。この領域で

Q_s(\{j\})=(1-qe^s)(qe^s)^{j-1}\qquad(j\in\NN)

となるから、 $Q_s$ は成功確率 $1-qe^s$ の正の幾何分布である。 $p=1$ ならば $G=1$ なので $M_Q(s)=e^s$ が全実数で有限であり、指数傾斜後も同じ一点分布である。

$Q=U(a,b)$ の場合、 $s\ne0$ ならば

M_Q(s)=\frac1{b-a}\int_a^b e^{sx}\,dx =\frac{e^{sb}-e^{sa}}{s(b-a)}.

被積分関数は有限区間上で有界なので、全実数で有限である。 $s=0$ のとき積分は1である。 $|s|\leq1$ に対して $e^{sx}\leq e^{\max(|a|,|b|)}$ が $x\in[a,b]$ で成り立つので、優収束定理により $M_Q(s)\to1$ $(s\to0)$ を得る。指数傾斜後の密度は $s\ne0$ のとき

q_s(x)=\frac{s e^{sx}}{e^{sb}-e^{sa}}\mathbf1_{[a,b]}(x),

$s=0$ のとき $q_0(x)=(b-a)^{-1}\mathbf1_{[a,b]}(x)$ である。

$Q=\operatorname{Gamma}(\alpha,\lambda)$ の場合、 $s<\lambda$ とすると、rate $\lambda-s>0$ の Gamma 密度の積分が1であることから、

\begin{aligned} M_Q(s) &=\frac{\lambda^\alpha}{\Gamma(\alpha)} \int_0^\infty x^{\alpha-1}e^{-(\lambda-s)x}\,dx\\ &=\left(\frac\lambda{\lambda-s}\right)^\alpha. \end{aligned}

$s=\lambda$ では $\int_1^R x^{\alpha-1}\,dx=(R^\alpha-1)/\alpha\to\infty$ なので発散する。 $s>\lambda$ では $x\geq1$ において $e^{(s-\lambda)x}\geq1$ であるから、同じ積分を下から抑え、やはり発散する。したがって有限領域は $(-\infty,\lambda)$ であり、正規化した密度は

q_s(x)=\frac{(\lambda-s)^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-(\lambda-s)x}\mathbf1_{(0,\infty)}(x).

ゆえに $Q_s=\operatorname{Gamma}(\alpha,\lambda-s)$ である。 $\Gamma(1)=\int_0^\infty e^{-x}\,dx=1$ であるから、指数密度は $\operatorname{Gamma}(1,\lambda)$ の密度とほとんど至る所で一致する。また、カイ二乗密度は $\operatorname{Gamma}(k/2,1/2)$ の密度と一致するので、両分布の式と有限領域はこの計算から従う。指数傾斜後は、それぞれ $\operatorname{Exp}(\lambda-s)$ と $\operatorname{Gamma}(k/2,1/2-s)$ である。

$Q=N(\mu,\sigma^2)$ の場合には、平方完成により

sx-\frac{(x-\mu)^2}{2\sigma^2} =-\frac{(x-\mu-\sigma^2s)^2}{2\sigma^2} +\mu s+\frac{\sigma^2s^2}{2}.

§E11.5 命題 2.5の正規密度の正規化を用いると、

M_Q(s)=e^{\mu s+\sigma^2s^2/2} \int_{\R}\frac1{\sqrt{2\pi\sigma^2}} e^{-(x-\mu-\sigma^2s)^2/(2\sigma^2)}\,dx =e^{\mu s+\sigma^2s^2/2}

であり、全実数で有限である。正規化した密度は $N(\mu+\sigma^2s,\sigma^2)$ の密度である。

各行で $M_Q(0)=\int1\,dQ=1$ である。各有限領域は零を含む開区間であるから、命題 6.1により、 $s\in H_Q$ を母数とする各族で独立同分布標本の和は完備かつ十分である。

指数分布については $M(s)=\lambda/(\lambda-s)$ を微分すると、

M'(s)=\frac\lambda{(\lambda-s)^2},\qquad M''(s)=\frac{2\lambda}{(\lambda-s)^3}.

§E11.9 定理 4.2により

E[X]=M'(0)=\frac1\lambda,\qquad E[X^2]=M''(0)=\frac2{\lambda^2},\qquad \operatorname{Var}(X)=\frac2{\lambda^2}-\frac1{\lambda^2}=\frac1{\lambda^2}

を得る。▨

§E14.10完備性と Lehmann–Scheffé の定理