§E14.15尤度比検定

最終更新

既知の分散をもつ正規標本から母平均がμ0\mu_0であるかμ1>μ0\mu_1>\mu_0であるかを判定するとき、大きな標本平均はμ1\mu_1の下で生じやすい。しかし、第一種過誤の確率を所定の水準に保ちながら、どの標本点から帰無仮説を棄却すれば対立仮説を最もよく検出することができるかは、単に標本平均が大きいという観察だけでは定まらない。

二つの単純仮説に対する尤度比は、各標本点における対立仮説の密度が帰無仮説の密度の何倍であるかを表す。Neyman–Pearson の補題は、尤度比の大きい標本点から棄却域へ入れる検定が、同じ水準の検定の中で最大の検出力をもつことを示す。尤度比による順序付けは仮説検定の最適性を理解するための最も基本的な原理の一つであり、複合仮説では制約付き尤度と無制約尤度の比へ拡張される。

本記事では、単純仮説に対する尤度比検定と、有限標本の一般化尤度比検定を扱う。

1 単純仮説の尤度比

定義 1.1. 可測空間(X,A)(\mathcal X,\mathcal A)上の二つの確率測度P0,P1P_0,P_1が、同じシグマ有限測度μ\muに関して有限非負の可測密度f0,f1f_0,f_1をもつとする。拡張実数値関数

R(x)={f1(x)/f0(x),f0(x)>0,+∞,f0(x)=0<f1(x),0,f0(x)=f1(x)=0R(x)= \begin{cases} f_1(x)/f_0(x),&f_0(x)>0,\\ +\infty,&f_0(x)=0<f_1(x),\\ 0,&f_0(x)=f_1(x)=0 \end{cases}

を、P1P_1のP0P_0に対する 尤度比 (likelihood ratio) という。両密度が零である集合における値は、二つの確率測度のいずれに対しても結論を変えない固定補完である。

log⁡0=−∞\log0=-\infty、log⁡(+∞)=+∞\log(+\infty)=+\inftyと定め、log⁡R\log Rを 対数尤度比 (log-likelihood ratio) という。独立標本の各観測において二つの密度が正ならば、標本全体の対数尤度比は各観測の対数尤度比の和になる。

RRは可測であり、P0(f0=0)=0P_0(f_0=0)=0であるためP0P_0の下で有限である。RRが大きい標本点ほど、単純対立P1P_1の密度が単純帰無P0P_0の密度に比べて大きい。

命題 1.2.定義 1.1の仮定を置き、0<α<10<\alpha<1とする。このとき、ある有限なk≥0k\geq0とγ∈[0,1]\gamma\in[0,1]が存在し、

φ∗(x)={1,f1(x)>kf0(x),γ,f1(x)=kf0(x),0,f1(x)<kf0(x)\varphi^*(x)= \begin{cases} 1,&f_1(x)>k f_0(x),\\ \gamma,&f_1(x)=k f_0(x),\\ 0,&f_1(x)<k f_0(x) \end{cases}

と定めた検定はE0[φ∗(X)]=αE_0[\varphi^*(X)]=\alphaを満たす。

証明.P0P_0の下でのRRの分布関数をF(t)=P0(R≤t)F(t)=P_0(R\leq t)とし、

k=inf⁡{t≥0:F(t)≥1−α}k=\inf\{t\geq0:F(t)\geq1-\alpha\}

とおく。RRは非負かつP0P_0の下で有限なので、この集合は空でなく、k<∞k<\inftyである。分布関数の右連続性とkkの定義から

P0(R>k)≤α≤P0(R≥k)P_0(R>k)\leq\alpha\leq P_0(R\geq k)

を得る。peq=P0(R=k)p_{\mathrm{eq}}=P_0(R=k)とおき、peq>0p_{\mathrm{eq}}>0ならば

γ=α−P0(R>k)peq,\gamma=\frac{\alpha-P_0(R>k)}{p_{\mathrm{eq}}},

peq=0p_{\mathrm{eq}}=0ならばγ=0\gamma=0と定める。上の二つの不等式によりγ∈[0,1]\gamma\in[0,1]であり、

P0(R>k)+γP0(R=k)=αP_0(R>k)+\gamma P_0(R=k)=\alpha

となる。

f0>0f_0>0の集合では、R>kR>k、R=kR=k、R<kR<kはそれぞれf1>kf0f_1>kf_0、f1=kf0f_1=kf_0、f1<kf0f_1<kf_0と同値である。f0=0<f1f_0=0<f_1ではf1>kf0f_1>kf_0であり、f0=f1=0f_0=f_1=0ではf1=kf0f_1=kf_0である。P0(f0=0)=0P_0(f_0=0)=0であるから、表示した検定の帰無期待値はα\alphaになる。▨

2 Neyman–Pearson の補題

定理 2.1 (Neyman–Pearson の補題). 可測空間(X,A)(\mathcal X,\mathcal A)上の確率測度P0,P1P_0,P_1が、同じシグマ有限測度μ\muに関して有限非負の可測密度f0,f1f_0,f_1をもつとする。k≥0k\geq0と検定φ∗:X→[0,1]\varphi^*:\mathcal X\to[0,1]が

φ∗(x)={1,f1(x)>kf0(x),γ(x),f1(x)=kf0(x),0,f1(x)<kf0(x)\varphi^*(x)= \begin{cases} 1,&f_1(x)>k f_0(x),\\ \gamma(x),&f_1(x)=k f_0(x),\\ 0,&f_1(x)<k f_0(x) \end{cases}

を満たし、E0[φ∗]=αE_0[\varphi^*]=\alphaとする。ただし、γ:X→[0,1]\gamma:\mathcal X\to[0,1]は可測である。このとき、E0[φ]≤αE_0[\varphi]\leq\alphaを満たすすべての検定φ\varphiに対して

E1[φ∗]≥E1[φ]E_1[\varphi^*]\geq E_1[\varphi]

が成り立つ。

さらに、k>0k>0かつP0(f1=kf0)=0P_0(f_1=kf_0)=0とする。水準α\alphaの検定φ\varphiがφ∗\varphi^*と同じ検出力をもつならば、φ=φ∗\varphi=\varphi^*がP0P_0およびP1P_1に関してほとんど確実に成り立つ。

証明.E0[φ]≤αE_0[\varphi]\leq\alphaを満たす検定φ\varphiに対し、

g(x)=(φ∗(x)−φ(x))(f1(x)−kf0(x))g(x)=(\varphi^*(x)-\varphi(x))(f_1(x)-kf_0(x))

とおく。次の三つの場合にg(x)≥0g(x)\geq0となる。

  1. f1(x)>kf0(x)f_1(x)>kf_0(x)のとき、φ∗(x)=1≥φ(x)\varphi^*(x)=1\geq\varphi(x)であり、二つの因子はともに非負である。
  2. f1(x)<kf0(x)f_1(x)<kf_0(x)のとき、φ∗(x)=0≤φ(x)\varphi^*(x)=0\leq\varphi(x)であり、二つの因子はともに非正である。
  3. f1(x)=kf0(x)f_1(x)=kf_0(x)のとき、第二因子が零である。

したがって、

0≤∫Xg dμ=E1[φ∗]−E1[φ]−k(E0[φ∗]−E0[φ])≤E1[φ∗]−E1[φ],\begin{aligned} 0 &\leq\int_{\mathcal X}g\,d\mu\\ &=E_1[\varphi^*]-E_1[\varphi] -k\bigl(E_0[\varphi^*]-E_0[\varphi]\bigr)\\ &\leq E_1[\varphi^*]-E_1[\varphi], \end{aligned}

となり、最強力性を得る。

追加の仮定を置き、φ\varphiが同じ検出力をもつとする。上の表示では第一行と最終行がともに零になるため、E0[φ]=αE_0[\varphi]=\alphaかつ∫g dμ=0\int g\,d\mu=0である。g≥0g\geq0なのでg=0g=0がμ\muに関してほとんど至る所で成り立つ。境界の外ではf1−kf0≠0f_1-kf_0\neq0であるから、φ=φ∗\varphi=\varphi^*が成り立つ。境界はP0P_0に関して零であり、f1=kf0f_1=kf_0とk>0k>0によりP1P_1に関しても零である。▨

命題 1.2と定理 2.1により、任意の0<α<10<\alpha<1に対し、尤度比の大きい標本点から順に棄却する水準α\alphaの最強力検定を構成することができる。帰無分布に原子がある場合には、境界上の無作為化が必要になることがある。

3 既知分散の正規平均

例 3.1 (正規母平均の片側検定).n∈N≥1n\in\NN、σ2>0\sigma^2>0とし、X1,…,XnX_1,\ldots,X_nをN(μ,σ2)N(\mu,\sigma^2)からの無作為標本とする。H0:μ=μ0H_0:\mu=\mu_0とH1:μ=μ1H_1:\mu=\mu_1、μ1>μ0\mu_1>\mu_0を考える。尤度比は

R(x)=exp⁡ ⁣(1σ2[(μ1−μ0)∑i=1nxi−n2(μ12−μ02)])R(x)=\exp\!\left( \frac1{\sigma^2} \left[ (\mu_1-\mu_0)\sum_{i=1}^nx_i -\frac n2(\mu_1^2-\mu_0^2) \right]\right)

である。μ1−μ0>0\mu_1-\mu_0>0なので、RRはx‾\overline xの狭義単調増加関数である。§E11.10 定理 4.2により、帰無仮説の下でX‾∼N(μ0,σ2/n)\overline X\sim N(\mu_0,\sigma^2/n)となる。したがって、Neyman–Pearson 検定の棄却域はx‾>c\overline x>cの形をもち、

c=μ0+zασn,zα=Φ−1(1−α)c=\mu_0+z_\alpha\frac{\sigma}{\sqrt n}, \qquad z_\alpha=\Phi^{-1}(1-\alpha)

とすれば水準はα\alphaになる。この棄却域はμ1\mu_1の値に依存しないため、すべてのμ1>μ0\mu_1>\mu_0に対して同時に最強力であり、H1:μ>μ0H_1:\mu>\mu_0に対する一様最強力検定である。

μ0=0\mu_0=0、μ1=0.5\mu_1=0.5、σ=1\sigma=1、n=25n=25、α=0.05\alpha=0.05とする。z0.05=1.644853…z_{0.05}=1.644853\ldotsであり、小数第4位まで表示すると1.64491.6449であるから、

c=1.644853…5=0.328970…≈0.32897.c=\frac{1.644853\ldots}{5} =0.328970\ldots \approx0.32897.

H1H_1の下ではX‾∼N(0.5,1/25)\overline X\sim N(0.5,1/25)であり、標準誤差は0.20.2である。したがって、検出力は

c−0.50.2≈−0.8551,Pμ1(X‾>c)=1−Φ ⁣(c−0.50.2)≈0.8038\begin{aligned} \frac{c-0.5}{0.2}&\approx-0.8551,\\ P_{\mu_1}(\overline X>c) &=1-\Phi\!\left(\frac{c-0.5}{0.2}\right) \approx0.8038 \end{aligned}

となる。この検定は有意水準5%5\%を保ち、μ=0.5\mu=0.5における検出力は約80.4%80.4\%である。

命題 3.2.n∈N≥1n\in\NN、σ2>0\sigma^2>0、0<α<10<\alpha<1とする。N(μ,σ2)N(\mu,\sigma^2)からの大きさnnの無作為標本に基づいて

H0:μ=μ0,H1:μ≠μ0H_0:\mu=\mu_0,\qquad H_1:\mu\neq\mu_0

を検定するとき、すべてのμ≠μ0\mu\neq\mu_0に対して同時に最強力となる水準α\alphaの検定は存在しない。

証明.δ>0\delta>0を固定する。単純対立μ=μ0+δ\mu=\mu_0+\deltaに対する水準α\alphaの最強力検定は

X‾>μ0+zασn\overline X>\mu_0+z_\alpha\frac{\sigma}{\sqrt n}

で棄却する。尤度比は連続なX‾\overline Xの狭義単調増加関数なので、定理 2.1の一意性により、この検定は帰無分布の零集合を除いて一意である。同様に、単純対立μ=μ0−δ\mu=\mu_0-\deltaに対する一意な最強力検定は

X‾<μ0−zασn\overline X<\mu_0-z_\alpha\frac{\sigma}{\sqrt n}

で棄却する。

二つの棄却域は帰無分布に関してほとんど確実には一致しない。両側対立に対する一様最強力検定が存在すれば、正負それぞれの単純対立に対して最強力でなければならず、二つの異なる一意な検定に同時に一致することになる。これは不可能である。▨

片側対立全体に対する構成や、不偏性を制約した両側検定の最適性は、後続の「単調尤度比と最強力検定」で扱う。

4 一般化尤度比検定

定義 4.1.§E14.14 定義 1.1の統計モデルを、各PθP_\thetaが共通のシグマ有限測度に関する有限非負の密度fθf_\thetaをもつモデルとする。観測値xxにおける尤度を§E14.4 定義 1.1の意味でLx(θ)=fθ(x)L_x(\theta)=f_\theta(x)とし、

U0(x)=sup⁡θ∈Θ0Lx(θ),U(x)=sup⁡θ∈ΘLx(θ)U_0(x)=\sup_{\theta\in\Theta_0}L_x(\theta), \qquad U(x)=\sup_{\theta\in\Theta}L_x(\theta)

とおく。U0,UU_0,Uが可測であり、ある共通の可測集合AAが

Pθ(A)=1(θ∈Θ),0<U(x)<∞(x∈A)P_\theta(A)=1\quad(\theta\in\Theta), \qquad 0<U(x)<\infty\quad(x\in A)

を満たすと仮定する。このとき、一般化尤度比統計量 (generalized likelihood ratio statistic) を

Λ(x)={U0(x)/U(x),x∈A,1,x∉A\Lambda(x)= \begin{cases} U_0(x)/U(x),&x\in A,\\ 1,&x\notin A \end{cases}

で定義する。Θ0⊆Θ\Theta_0\subseteq\Thetaなので0≤Λ≤10\leq\Lambda\leq1である。

一般化尤度比検定 (generalized likelihood ratio test) は、Λ\Lambdaが小さい標本点で帰無仮説を棄却する検定である。閾値と境界上の無作為化は、帰無仮説の全母数で水準条件を満たすように選ぶ。

一般の母数集合では、点ごとの上限が可測であることも、上限が有限正であることも自動的には従わない。また、上限を達成する母数が存在するとは限らない。定義 4.1は最大点の存在を要求せず、統計量を定義するために必要な上限の性質だけを仮定している。

例 4.2 (未知分散正規平均の有限標本 GLRT).n≥2n\geq2とし、X1,…,XnX_1,\ldots,X_nをN(μ,σ2)N(\mu,\sigma^2)からの無作為標本とする。ただし、μ∈R\mu\in\R、σ2>0\sigma^2>0は未知である。仮説

H0:μ=μ0,H1:μ≠μ0H_0:\mu=\mu_0,\qquad H_1:\mu\neq\mu_0

を考え、

Q=∑i=1n(Xi−X‾)2,S2=Qn−1Q=\sum_{i=1}^n(X_i-\overline X)^2, \qquad S^2=\frac{Q}{n-1}

とおく。A={Q>0}A=\{Q>0\}上で一般化尤度比は

Λ=(1+T2n−1)−n/2,T=n(X‾−μ0)S\Lambda =\left(1+\frac{T^2}{n-1}\right)^{-n/2}, \qquad T=\frac{\sqrt n(\overline X-\mu_0)}{S}

となる。AcA^cではΛ=1\Lambda=1、T=0T=0と補完する。

0<α<10<\alpha<1とし、q=qtn−1(1−α/2)q=q_{t_{n-1}}(1-\alpha/2)とおく。このとき

Λ≤(1+q2n−1)−n/2\Lambda\leq \left(1+\frac{q^2}{n-1}\right)^{-n/2}

で棄却する GLRT は、∣T∣≥q|T|\geq qで棄却する両側 t 検定と確率1で一致し、その帰無仮説下の棄却確率はα\alphaである。

証明. 観測値をx=(x1,…,xn)x=(x_1,\ldots,x_n)とし、Q(x)>0Q(x)>0とする。任意のm∈Rm\in\Rに対して

∑i=1n(xi−m)2=Q(x)+n(x‾−m)2\sum_{i=1}^n(x_i-m)^2 =Q(x)+n(\overline x-m)^2

である。§E14.7 命題 1.7により、無制約尤度はm=x‾m=\overline x、v=Q(x)/nv=Q(x)/nで一意に最大となる。

帰無仮説の下ではm=μ0m=\mu_0である。A0=Q(x)+n(x‾−μ0)2A_0=Q(x)+n(\overline x-\mu_0)^2とおくとA0>0A_0>0であり、制約付き尤度は

Lx(μ0,v)=(2πv)−n/2exp⁡ ⁣(−A02v),v>0L_x(\mu_0,v) =(2\pi v)^{-n/2} \exp\!\left(-\frac{A_0}{2v}\right), \qquad v>0

となる。その対数をvvで微分すると

ddvlog⁡Lx(μ0,v)=A0−nv2v2\frac{d}{dv}\log L_x(\mu_0,v) =\frac{A_0-nv}{2v^2}

であるから、制約付き尤度はv=A0/nv=A_0/nで一意に最大となる。二つの最大尤度の比を取ると

Λ(x)=(Q(x)Q(x)+n(x‾−μ0)2)n/2=(1+n(x‾−μ0)2Q(x))−n/2=(1+T(x)2n−1)−n/2\begin{aligned} \Lambda(x) &=\left( \frac{Q(x)} {Q(x)+n(\overline x-\mu_0)^2} \right)^{n/2}\\ &=\left( 1+\frac{n(\overline x-\mu_0)^2}{Q(x)} \right)^{-n/2}\\ &=\left(1+\frac{T(x)^2}{n-1}\right)^{-n/2} \end{aligned}

を得る。

正の分散をもつ正規分布の同時密度はRn\R^n上で連続であり、対角集合{x1=⋯=xn}\{x_1=\cdots=x_n\}は Lebesgue 測度零である。したがって、Pμ,σ2(Q>0)=1P_{\mu,\sigma^2}(Q>0)=1がすべての(μ,σ2)(\mu,\sigma^2)で成り立ち、AAは共通の確率一集合である。上の明示式とAcA^cにおける固定補完により、Λ\Lambdaは可測である。

t↦(1+t/(n−1))−n/2t\mapsto(1+t/(n-1))^{-n/2}はt≥0t\geq0上で狭義単調減少であるため、表示した GLRT の棄却条件は∣T∣≥q|T|\geq qと同値である。帰無仮説の下では、§E14.3 定理 4.3によりT∼tn−1T\sim t_{n-1}である。§E14.3 命題 2.4の連続性と対称性から

Pμ0,σ2(∣T∣≥q)=αP_{\mu_0,\sigma^2}(|T|\geq q)=\alpha

となる。この確率はσ2\sigma^2に依存しない。▨

滑らかなモデルにおける大標本の一般化尤度比統計量は§E14.17 定理 3.4で扱う。尤度と事前分布を組み合わせた事後推測は「Bayes 推測」で扱う。

前提記事