§E14.17尤度に基づく検定の漸近論

証明. 証明は演習とする（問題 5.1）。▨

証明.$\eta\mapsto p_{(\eta,\zeta_0)}$を開集合$\{\eta:(\eta,\zeta_0)\in\Theta\}$上で考える。この部分モデルの score と Hessian は元の対応する成分であり、微分積分交換と三階優関数の条件を継承する。情報行列$A$は補題 1.1によって正定値である。したがって部分モデルに§E14.13 定理 3.1を適用すると、$\widetilde\eta_n$の表示を得る。

$\widetilde h_n=\sqrt n(\widetilde\theta_n-\theta_0)$とおく。この列は確率有界であり、最後の$r$成分は零である。$\widetilde\theta_n$が局所閉球に入る事象上で、score の線分積分は

を与える。積分行列は§E14.13 補題 1.3 (3)により$I_0$へ確率収束する。確率有界な列と$o_P(1)$の積は$o_P(1)$であるから、最後の$r$成分を取れば残存する score の表示を得る。

§E14.13 補題 1.3 (1)により$\Delta_n\Rightarrow N_p(0,I_0)$である。線形写像$(d_1,d_2)\mapsto d_2-B^\top A^{-1}d_1$を適用すると、正規極限の共分散は

となる。正規ベクトルの特徴づけ§E11.10 定理 4.2から結論を得る。▨

証明.$\Theta$と$\Theta_0$にそれぞれ可算稠密集合$D,D_0$を固定する。Euclid 空間の可算基のうち当該集合と交わる各要素から一点ずつ取れば、そのような集合を得る。各標本で対数尤度は母数に関して連続なので、$L_n=\sup_{\theta\in D}\ell_n(\theta)$、$L_{n,0}=\sup_{\theta\in D_0}\ell_n(\theta)$である。各母数で対数尤度は可測であるから、両上限と$A_n$は可測である。$S^n$上では各固定母数の対数尤度が有限なので、$-\infty<L_{n,0}\leq L_n$である。したがって$A_n$上で差は有限かつ非負であり、補完後の$D_n$は非負実数値の可測関数である。$A_n$上では尤度の二つの上限がそれぞれ$e^{L_{n,0}}$と$e^{L_n}$なので、表示した比は$e^{-D_n/2}$に等しい。$A_n^c$でも補完値により$\Lambda_n=e^{-D_n/2}=1$であるから、$\Lambda_n$も可測である。

すべての$\theta$について$P_\theta(A_n)=1$ならば、$A_n$は全母数に共通する確率一集合である。$A_n$上では無制約尤度の上限$e^{L_n}$が有限正であり、上限の可測性も既に示したので、§E14.15 定義 4.1の条件を満たす。▨

証明. 一致性と上限達成の仮定によって、確率が1へ収束する事象上で両推定量は局所領域に入り、$U_n(\widehat\theta_n)=0$である。$r<p$ならば制約付き最大点は$\eta$の開母数空間の内点なので、$U_{n,1}(\widetilde\theta_n)=0$でもある。

$\widehat h_n=\sqrt n(\widehat\theta_n-\theta_0)$とおく。§E14.13 定理 3.1により$\widehat h_n=I_0^{-1}\Delta_n+o_P(1)$である。$r<p$の場合、補題 1.2により

両列は確率有界であるから、§E14.13 命題 3.3にそれぞれ代入すると

ここで線形表示の誤差を代入して生じる項は、確率有界な$\Delta_n$と$o_P(1)$の積、または$o_P(1)$の二次式であるため、いずれも$o_P(1)$である。上限達成事象上で二式の差は$D_n$に等しい。補題 1.1によって

を得る。

$V_n\Rightarrow N_r(0,S)$であり、$S$は正定値である。正規ベクトルの特徴づけにより極限ベクトルの分布は$S^{1/2}G$、$G\sim N_r(0,I_r)$の分布と等しい。したがって、連続写像定理と Slutsky の定理によって

最後の同定は、独立標準正規変数の平方和によるカイ二乗分布の定義§E14.3 定義 2.2 (1)による。

$r=p$の場合は$\widetilde\theta_n=\theta_0$であり、制約付き尤度差は零である。無制約の二次展開だけから$D_n=\Delta_n^\top I_0^{-1}\Delta_n+o_P(1)$を得る。$\Delta_n\Rightarrow N_p(0,I_0)$へ上の正規二次形式の計算を適用すると$\chi^2_p$極限が従う。▨

証明.§E14.13 補題 1.3 (3)によって、$\widehat J_n$と$\widetilde J_n$は$I_0$へ確率収束する。$I_0$の最小固有値を$\lambda>0$とすると、$\|J-I_0\|_{\mathrm{op}}<\lambda/2$ならば対称行列$J$は正定値である。さらに$\|I_p-I_0^{-1}J\|_{\mathrm{op}}<1/2$では§E4.7 補題 1.1により$\|J^{-1}\|_{\mathrm{op}}\leq2\|I_0^{-1}\|_{\mathrm{op}}$であり、

から逆行列も$I_0^{-1}$へ確率収束する。したがって、各統計量を零へ補完する事象の確率は$0$へ収束する。

$r<p$とし、補題 1.2の$S,V_n$を用いる。無制約の線形表示と補題 1.1から

である。第二の収束には、正定値行列$S^{-1}$の近傍に上の逆行列の評価を適用した。したがって$W_n=V_n^\top S^{-1}V_n+o_P(1)$である。

制約付きの score は

であるから、$(I_0^{-1})_{22}=S^{-1}$により$R_n=V_n^\top S^{-1}V_n+o_P(1)$を得る。両統計量の極限と差についての結論は、座標固定尤度比の証明中の正規二次形式の同定から従う。

$r=p$の場合には$\sqrt n(\widehat\theta_n-\theta_0)=I_0^{-1}\Delta_n+o_P(1)$と$U_n(\widetilde\theta_n)/\sqrt n=\Delta_n$を直接代入する。両統計量は$\Delta_n^\top I_0^{-1}\Delta_n+o_P(1)$となる。大域最大化の条件がある場合は、いずれの次元でも定理 2.2の$D_n$の表示と引き算すればよい。▨

証明.$r<p$のとき、$Dg(\theta_0)$の非零な$r$次小行列に対応する座標を最後の$r$成分に移す。§E4.8 定理 2.1 (1)によって、$\Phi=(\eta,g)$は適切な開近傍間で$C^1$級微分同相になる。その逆写像を$\psi$とすると

余因子公式§D3.4 定理 7.4により、可逆行列の逆行列の各成分は行列成分の多項式を非零な行列式で割った関数である。一次行列では逆数関数である。したがって逆行列を取る写像は可逆行列上で$C^\infty$級である。$\Phi$が$C^3$級、$\psi$が$C^1$級なので、表示式の右辺は$C^1$級であり、$\psi$は$C^2$級となる。再び同じ式を使うと右辺は$C^2$級であり、$\psi$は$C^3$級となる。

$r=p$のとき$Dg(\theta_0)$は可逆である。逆関数定理§E4.7 定理 2.1により$g$はある開近傍上で単射となる。$g(\theta_0)=0$なので、その近傍での零点は$\theta_0$だけである。▨

証明.$\beta_0$を中心とする十分小さい閉球$K_0\subset B$を取り、その像が元の局所 Cramér 条件の閉球内に入るようにする。$\psi$の一階から三階までの微分は$K_0$上で有界である。$s_0(x)=\nabla\ell(x,\theta_0)$、$H_0(x)=\nabla^2\ell(x,\theta_0)$と書く。元の三階優関数を$M$とすると、線分積分によって、元の局所閉球上の一階・二階対数微分の絶対値は、ある定数倍の

で支配される。$E_{\theta_0}N(X)<\infty$である。変換後の三階対数微分は連鎖律により、元の三階微分と三つの一階$\psi$微分の積、元の二階微分と一階・二階$\psi$微分の積、および元の一階微分と三階$\psi$微分の積の有限和である。ゆえに$K_0$上で定数倍の$N$を可積分優関数として用いることができる。

真値で変換後の score は$K(\beta_0)^\top s_0$であり、二次可積分である。期待値は零で、共分散は$I_0^\beta$に等しい。$K(\beta_0)$は可逆なので$I_0^\beta$は正定値である。Hessian の成分は$H_0$と$s_0$の成分の有限線形結合なので可積分である。密度の微分についても

である。$\beta_0$で積分すると、元の一次・二次密度微分の積分はすべて零なので、変換後にも微分積分交換の等式が成り立つ。密度そのものの積分は各$\beta$で$1$である。共通正台と観測に関する可測性も保存され、局所 Cramér 条件を得る。

対数尤度に一階・二階の連鎖律を適用すると、主張の score と観測情報の式を得る。一致点$T_n$が元の局所閉球に入る事象上では

ここでは§E14.13 補題 1.3 (3)と$\Delta_n$の確率有界性を用いた。したがって観測情報の式の第二項は$0$へ確率収束し、第一項は連続性と$J_n(T_n)\xrightarrow{P}I_0$により$I_0^\beta$へ確率収束する。▨

証明.$r<p$とし、補題 3.2の$C^3$座標$\beta=\Phi(\theta)=(\eta,g(\theta))$と逆写像$\psi$を取る。$\beta_0=\Phi(\theta_0)$とおく。補題 3.3によって変換後モデルは$\beta_0$で局所 Cramér 条件を満たす。

両推定量が$G$に入る確率は1へ収束する。$\widehat\beta_n=\Phi(\widehat\theta_n)$、$\widetilde\beta_n=\Phi(\widetilde\theta_n)$を近傍外で$\beta_0$に補完すると、可測で一致する推定量になる。元の大域上限が達成される事象と両推定量が$G$に入る事象の共通部分では、$G$上の無制約上限および$G\cap\Theta_0$上の制約付き上限は、それぞれ元の$L_n,L_{n,0}$と等しい。尤度の値は再パラメータ化によって変わらないので、定理 2.2から$D_n\Rightarrow\chi^2_r$を得る。

変換後の観測情報を$\widehat J_n^\beta,\widetilde J_n^\beta$とし、$K=D\psi(\beta_0)$とおく。両者は$K^\top I_0K$へ確率収束する。$Dg(\theta_0)K=(0,I_r)$であるから

両辺は正定値である。$\sqrt n\,g(\widehat\theta_n)$は変換後の一致根の線形表示によって確率有界である。$W_n^g$の中の行列と$(\widehat J_n^\beta)^{-1}$の右下部分行列は上の同じ正定値行列へ確率収束するため、逆行列の差も$0$へ確率収束する。したがって$W_n^g$と変換後の座標 Wald 統計量との差は$o_P(1)$である。

また$U_n^\beta(\widetilde\beta_n)=D\psi(\widetilde\beta_n)^\top U_n(\widetilde\theta_n)$であり、変換後の制約付き score を$\sqrt n$で割った列は補題 1.2によって確率有界である。$D\psi(\widetilde\beta_n)\to_P K$と可逆性から$U_n(\widetilde\theta_n)/\sqrt n$も確率有界である。さらに

この行列と$\widetilde J_n^{-1}$の差は$o_P(1)$なので、変換後の score 統計量と$R_n$の差も$o_P(1)$である。変換後の定理 2.4により残る結論を得る。

$r=p$では帰無集合は$\theta_0$の近傍で一点である。一致性によって$\widetilde\theta_n=\theta_0$となる確率は1へ収束するから、尤度比と score の結論は座標固定定理の$r=p$の場合に帰着する。$G_0=Dg(\theta_0)$は可逆であり、全微分の剰余と無制約の線形表示から

これを$W_n^g$へ代入すると、$[G_0I_0^{-1}G_0^\top]^{-1}=G_0^{-\top}I_0G_0^{-1}$により$W_n^g=\Delta_n^\top I_0^{-1}\Delta_n+o_P(1)$となる。▨

証明. カイ二乗分布の分位点の性質§E14.3 命題 2.4により、分布関数$F_r$は$c_{r,\alpha}$で連続であり、$F_r(c_{r,\alpha})=1-\alpha$である。各統計量の分布収束と§E11.17 命題 1.2によって、$c_{r,\alpha}$以下となる確率が$1-\alpha$へ収束する。さらに$Y\sim\chi^2_r$とすると、連続写像定理により$p_n\Rightarrow1-F_r(Y)$である。任意の$0<u<1$に対し、$P(1-F_r(Y)\leq u)=P(Y\geq c_{r,u})=u$なので、極限は一様分布である。▨