Bayes 推測 | 数理統計 I | 天游ヶ丘数理学院

1 事前分布と事後分布

定義 1.1. $(\Theta,\mathcal T,\nu)$ と $(\mathcal X,\mathcal A,\mu)$ をシグマ有限測度空間とする。関数 $f:\mathcal X\times\Theta\to[0,\infty)$ は共同可測であり、各 $\theta\in\Theta$ について

\int_{\mathcal X}f(x\mid\theta)\,\mu(dx)=1

を満たすとする。また、 $\pi:\Theta\to[0,\infty)$ は可測であり、 $\int_\Theta\pi\,d\nu=1$ を満たすとする。

確率測度 $\Pi(d\theta)=\pi(\theta)\nu(d\theta)$ を母数 $\theta$ の事前分布 (prior distribution) という。 $\theta$ を与えたときの観測 $X$ の条件付き密度を $f(x\mid\theta)$ とする。観測値 $x$ を固定した関数 $\theta\mapsto f(x\mid\theta)$ は§E14.4 定義 1.1の尤度である。 $X=x$ を観測した後の $\theta$ の条件付き分布を事後分布 (posterior distribution) という。

さらに、将来の観測 $\widetilde X$ が $\theta$ を与えたもとで $X$ と条件付き独立であるとする。 $X=x$ を観測した後の $\widetilde X$ の条件付き分布を事後予測分布 (posterior predictive distribution) という。

この定式化は、 $\mu$ と $\nu$ に計数測度を選べば離散モデルを含み、Lebesgue 測度を選べば通常の連続密度モデルを含む。事前分布を確率測度と仮定することにより、以下では improper prior を扱わない。

定理 1.2.定義 1.1の仮定のもとで

m(x)=\int_\Theta f(x\mid\theta)\pi(\theta)\,\nu(d\theta)

とおく。このとき $m$ は $X$ の周辺密度である。 $0<m(x)<\infty$ を満たす $x$ に対して、事後分布は $\nu$ に関する密度

\pi(\theta\mid x) =\frac{f(x\mid\theta)\pi(\theta)}{m(x)}

をもつ。 $m(x)=0$ または $m(x)=\infty$ である $x$ では $\pi(\theta\mid x)=\pi(\theta)$ と補完すると、 $x\mapsto\pi(\,\cdot\mid x)\nu$ はすべての $x$ で定義された確率核となる。

さらに、任意の $B\in\mathcal A$ と $C\in\mathcal T$ に対して

\int_B\left\{\int_C\pi(\theta\mid x)\,\nu(d\theta)\right\}m(x)\,\mu(dx) =\int_C\left\{\int_B f(x\mid\theta)\,\mu(dx)\right\}\pi(\theta)\,\nu(d\theta)

が成り立つ。したがって、表示した確率核は事前予測分布に関してほとんどすべての $x$ で $\theta$ の条件付き分布を与える。

証明. 共同可測な非負関数 $f(x\mid\theta)\pi(\theta)$ に Tonelli の定理を適用すると、 $m$ は可測であり、

\int_{\mathcal X}m(x)\,\mu(dx) =\int_\Theta\left\{\int_{\mathcal X}f(x\mid\theta)\,\mu(dx)\right\}\pi(\theta)\,\nu(d\theta) =1

を満たす。したがって $m$ は周辺密度であり、 $m(x)=\infty$ となる集合は $\mu$ 零集合である。また、 $m(x)=0$ または $m(x)=\infty$ となる集合の事前予測確率は零である。

$0<m(x)<\infty$ ならば、 $\pi(\theta\mid x)$ は非負可測であり、その $\nu$ 積分は $1$ である。例外集合では proper な事前密度 $\pi$ で補完したので、すべての $x$ について確率密度を得る。共同可測性から、この補完後の関数 $(x,\theta)\mapsto\pi(\theta\mid x)$ も共同可測である。

最後に、事前予測測度で零である例外集合を除けば

\pi(\theta\mid x)m(x)=f(x\mid\theta)\pi(\theta)

である。両辺を $B\times C$ 上で積分し、Tonelli の定理を適用すると、主張した条件付き積分等式を得る。▨

観測値 $x$ を固定すると、分母 $m(x)$ は $\theta$ に依存しない。したがって事後密度を母数の関数として比較するときには

\pi(\theta\mid x)\propto f(x\mid\theta)\pi(\theta)

と書くことができる。この比例式を確率密度として用いるためには、分母が正かつ有限であることを別に確認する必要がある。

2 事後予測分布

命題 2.1.定義 1.1の仮定に加え、 $(\widetilde{\mathcal X},\widetilde{\mathcal A},\widetilde\mu)$ をシグマ有限測度空間とし、将来値 $\widetilde X$ の $\theta$ を与えた条件付き密度 $\widetilde f(\widetilde x\mid\theta)$ は共同可測であるとする。 $X$ と $\widetilde X$ が $\theta$ を与えたもとで条件付き独立であるならば、 $X=x$ を観測した後の $\widetilde X$ の事後予測密度は、事前予測に関してほとんどすべての $x$ について

p(\widetilde x\mid x) =\int_\Theta \widetilde f(\widetilde x\mid\theta)\pi(\theta\mid x)\,\nu(d\theta)

である。

証明. 右辺は非負かつ $\widetilde x$ の可測関数である。Tonelli の定理により

\int_{\widetilde{\mathcal X}}p(\widetilde x\mid x)\,\widetilde\mu(d\widetilde x) =\int_\Theta\left\{\int_{\widetilde{\mathcal X}}\widetilde f(\widetilde x\mid\theta)\,\widetilde\mu(d\widetilde x)\right\}\pi(\theta\mid x)\,\nu(d\theta) =1

である。条件付き独立性により、 $\theta$ を与えた $(X,\widetilde X)$ の同時密度は $f(x\mid\theta)\widetilde f(\widetilde x\mid\theta)$ である。 $0<m(x)<\infty$ ならば定理 1.2の事後密度の式から

m(x)p(\widetilde x\mid x) =\int_\Theta f(x\mid\theta)\widetilde f(\widetilde x\mid\theta)\pi(\theta)\,\nu(d\theta)

を得る。両辺を観測値と将来値の可測集合上で積分し、Tonelli の定理を適用すると、右辺は $(X,\widetilde X)$ の同時確率を与える。例外集合の事前予測確率は零であるから、表示した混合密度は事前予測に関してほとんどすべての $x$ で条件付き密度を与える。▨

3 事後損失と Bayes 推定量

定義 3.1.定義 1.1の統計モデルを考え、 $(\mathsf A,\mathcal G)$ を可測な行動空間、 $\tau:\Theta\to\mathsf A$ を可測な推定対象とする。 $L:\Theta\times\mathsf A\to[0,\infty]$ を共同可測な損失関数とし、可測な推定量 $\delta:\mathcal X\to\mathsf A$ の固定母数リスクを§E14.6 定義 1.2の意味で $R_\theta(\delta)$ とする。

決定則 $\delta$ の Bayes 平均リスク (Bayes risk) を

r_\Pi(\delta)=\int_\Theta R_\theta(\delta)\,\Pi(d\theta)

で定める。すべての可測な決定則の中で Bayes 平均リスクを最小にする決定則を Bayes 推定量 (Bayes estimator) という。また、観測値 $x$ における事後平均損失 (posterior expected loss) を

r_x(a)=\int_\Theta L(\theta,a)\pi(\theta\mid x)\,\nu(d\theta)

で定める。

定理 3.2.定義 3.1の仮定のもとで、任意の可測な決定則 $\delta$ に対して

r_\Pi(\delta)=\int_{\mathcal X}r_x(\delta(x))m(x)\,\mu(dx)

が成り立つ。可測な決定則 $\delta^*$ が存在し、事前予測に関してほとんどすべての $x$ で

r_x(\delta^*(x))\leq r_x(a)\qquad(a\in\mathsf A)

を満たすならば、 $\delta^*$ は Bayes 推定量である。

証明. 損失、密度および決定則の共同可測性により、以下の被積分関数は非負可測である。Tonelli の定理と定理 1.2を順に用いると

\begin{aligned} r_\Pi(\delta) &=\int_\Theta\int_{\mathcal X}L(\theta,\delta(x))f(x\mid\theta)\,\mu(dx)\pi(\theta)\,\nu(d\theta)\\ &=\int_{\mathcal X}\int_\Theta L(\theta,\delta(x))\pi(\theta\mid x)\,\nu(d\theta)m(x)\,\mu(dx)\\ &=\int_{\mathcal X}r_x(\delta(x))m(x)\,\mu(dx) \end{aligned}

を得る。点ごとの最小性から、任意の可測な決定則 $\delta$ に対して $r_x(\delta^*(x))\leq r_x(\delta(x))$ が事前予測に関してほとんど確実に成り立つ。この不等式を積分すると $r_\Pi(\delta^*)\leq r_\Pi(\delta)$ を得る。▨

定理は、点ごとの最小化解から可測な決定則を選ぶことができるとは主張していない。Bayes 推定量をこの方法で構成するときには、最小化解の存在と選択の可測性を確認する必要がある。

命題 3.3. $\Theta\subseteq\R$ とし、行動空間を $\R$ 、損失を $L(\theta,a)=(\theta-a)^2$ とする。固定した観測値 $x$ において事後二次積率が有限であるならば、事後平均

\mu_x=\int_\Theta\theta\pi(\theta\mid x)\,\nu(d\theta)

は事後平均損失を一意に最小にし、任意の $a\in\R$ に対して

r_x(a)=r_x(\mu_x)+(a-\mu_x)^2

が成り立つ。すべての $x$ で事後二次積率が有限であるならば、 $x\mapsto\mu_x$ は可測であり、定理 3.2によって Bayes 推定量を与える。

証明. 事後二次積率の有限性から事後平均も有限である。恒等式

\theta-a=(\theta-\mu_x)+(\mu_x-a)

を二乗して事後分布について積分すると、交差項は

2(\mu_x-a)\int_\Theta(\theta-\mu_x)\pi(\theta\mid x)\,\nu(d\theta)=0

となる。したがって表示した分解を得る。 $(a-\mu_x)^2$ は $a=\mu_x$ のとき、かつそのときに限って零であるため、最小点は一意である。最後に、可測な確率核に対する非負関数の積分は可測であり、正負部分を用いれば有限な事後平均 $x\mapsto\mu_x$ も可測である。▨

例 3.4 (同じ事後分布に対する損失の比較). 未知の状態を $\theta\in\{0,1\}$ 、観測後に選ぶ行動を $a\in\{0,1\}$ とし、ある観測値 $x$ に対して

P(\theta=1\mid x)=\frac35, \qquad P(\theta=0\mid x)=\frac25

を得たとする。将来の観測値を予測する問題ではなく、行動 $a$ を未知の状態 $\theta$ と比較する決定問題を考える。

誤った行動の損失をともに $1$ とする、すなわち $L(0,1)=L(1,0)=1$ 、 $L(0,0)=L(1,1)=0$ とすると、事後平均損失は

r_x(0)=\frac35, \qquad r_x(1)=\frac25

であるから、行動 $a=1$ を選ぶ。一方、偽陽性に相当する $L(0,1)$ を $2$ 、偽陰性に相当する $L(1,0)$ を $1$ とすると、

r_x(0)=\frac35, \qquad r_x(1)=2\cdot\frac25=\frac45

となるから、同じ事後分布に対して行動 $a=0$ を選ぶ。Bayes 決定は事後分布だけでなく、各行動の損失にも依存する。

4 共役事前分布

定義 4.1. 尤度の族に対し、事前分布の族 $\mathcal P$ が共役 (conjugate prior) であるとは、 $\Pi\in\mathcal P$ ならば、 $0<m(x)<\infty$ を満たす各観測値 $x$ に対する事後分布も同じ族 $\mathcal P$ に属することをいう。

命題 4.2. 次の三つの事前分布族は共役であり、事後分布は以下のように更新される。

$n\in\N$ 、 $X\mid\theta\sim\mathrm{Bin}(n,\theta)$ 、 $\theta\sim\operatorname{Beta}(a,b)$ 、 $a,b>0$ ならば、 $x\in\{0,\ldots,n\}$ のもとで $\theta\mid x\sim\operatorname{Beta}(a+x,b+n-x), \qquad E[\theta\mid x]=\frac{a+x}{a+b+n}$ である。
$n\in\NN$ 、 $X_1,\ldots,X_n\mid\mu$ が独立に $N(\mu,\sigma^2)$ に従い、 $\sigma^2>0$ が既知であるとする。 $\mu\sim N(\mu_0,\tau^2)$ 、 $\tau^2>0$ ならば、 $\mu\mid x\sim N(\mu_n,v_n),\qquad v_n=\left(\frac1{\tau^2}+\frac n{\sigma^2}\right)^{-1},\qquad \mu_n=v_n\left(\frac{\mu_0}{\tau^2}+\frac{n\overline x}{\sigma^2}\right).$
$n\in\NN$ 、 $X_1,\ldots,X_n\mid\lambda$ が独立に $\operatorname{Pois}(\lambda)$ に従い、 $\lambda\sim\operatorname{Gamma}(a,b)$ 、 $a,b>0$ とする。Gamma 分布の第二母数を rate とすると、 $\lambda\mid x\sim\operatorname{Gamma}\left(a+\sum_{i=1}^nx_i,b+n\right).$

証明.(1)を示す。 $x\in\{0,\ldots,n\}$ における二項尤度と Beta 事前密度の積は

\binom nx\theta^x(1-\theta)^{n-x}\frac{\theta^{a-1}(1-\theta)^{b-1}}{B(a,b)} =\frac{\binom nx}{B(a,b)}\theta^{a+x-1}(1-\theta)^{b+n-x-1}

である。 $a+x>0$ かつ $b+n-x>0$ であり、§E14.3 定義 1.2によって正規化すると $\operatorname{Beta}(a+x,b+n-x)$ の密度を得る。さらに、§E14.3 命題 1.4を $q=1$ として適用すると、事後平均は $(a+x)/(a+b+n)$ となる。

(2)を示す。 $\mu$ に依存しない正因子を除く事後密度の核の対数は

-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2-\frac{(\mu-\mu_0)^2}{2\tau^2}.

$\sum_i(x_i-\mu)^2=\sum_i(x_i-\overline x)^2+n(\mu-\overline x)^2$ を代入し、 $\mu$ について平方完成すると、この式は $\mu$ に依存しない項を除いて

-\frac1{2v_n}(\mu-\mu_n)^2

となる。 $v_n>0$ であるから正規化することができ、表示した正規事後分布を得る。

(3)を示す。 $s=\sum_{i=1}^nx_i$ とおく。Poisson 尤度と shape $a$ 、rate $b$ の Gamma 事前密度の積は、 $\lambda$ に依存しない正因子を除いて

e^{-n\lambda}\lambda^s\lambda^{a-1}e^{-b\lambda} =\lambda^{a+s-1}e^{-(b+n)\lambda}

である。 $a+s>0$ かつ $b+n>0$ であり、§E14.3 定義 1.1によって正規化すると $\operatorname{Gamma}(a+s,b+n)$ の密度を得る。▨

5 信用集合と信用区間

定義 5.1. $0<\alpha<1$ とする。観測値 $x$ を固定し、 $C\in\mathcal T$ が

P(\theta\in C\mid x) =\int_C\pi(\theta\mid x)\,\nu(d\theta) \geq1-\alpha

を満たすとき、 $C$ を水準 $1-\alpha$ の信用集合 (credible set at level 1-alpha) という。 $\Theta\subseteq\R$ であり、 $C$ が区間であるとき、 $C$ を水準 $1-\alpha$ の信用区間 (credible interval at level 1-alpha) という。

実数値の連続な事後分布では、下側確率と上側確率をそれぞれ $\alpha/2$ とする等裾信用区間を選ぶことができる。事後密度の高い点を優先して集める最高事後密度集合も選択肢になるが、密度の平坦な部分や複数の峰がある場合には、最高事後密度集合が一意に定まるとは限らず、区間になるとも限らない。

信用集合の確率は、観測後の事後分布において計算する。母数を固定して標本を反復したときの被覆確率は別の量であり、信用集合の定義だけから頻度論的な被覆保証は従わない。

例 5.2 (信用区間の被覆確率が零になる場合). $\theta\sim\operatorname{Beta}(1,1)$ とし、 $\theta$ のもとで一回の観測 $X\sim\operatorname{Bernoulli}(\theta)$ を行う。この分布は $\operatorname{Bin}(1,\theta)$ であるから、命題 4.2により、 $X=0$ のときの事後分布は $\operatorname{Beta}(1,2)$ である。その累積分布関数は $1-(1-t)^2$ であるため、等裾 $95\%$ 信用区間は

C_0=[1-\sqrt{0.975},1-\sqrt{0.025}] \approx[0.012579,0.841886]

となる。 $X=1$ のときの事後分布は $\operatorname{Beta}(2,1)$ であり、その累積分布関数は $t^2$ であるから、等裾 $95\%$ 信用区間は

C_1=[\sqrt{0.025},\sqrt{0.975}] \approx[0.158114,0.987421]

となる。

真の母数を $\theta_*=0.01$ に固定すると、 $\theta_*$ は $C_0$ にも $C_1$ にも属さない。観測値は $0$ または $1$ のいずれかであるため、反復標本抽出における被覆確率は

P_{\theta_*}(\theta_*\in C_X)=0

である。この例では、各観測後の区間が事後確率 $0.95$ をもつ一方で、固定した真の母数に対する頻度論的被覆確率は $0$ になる。

例 5.3 (コイン投げの事後更新). コインが表を出す確率を $\theta$ とし、事前分布を $\operatorname{Beta}(2,2)$ とする。この事前分布の平均は $1/2=0.5$ である。コインを $n=10$ 回投げて表を $x=7$ 回観測すると、命題 4.2により

\theta\mid x\sim\operatorname{Beta}(2+7,2+10-7)=\operatorname{Beta}(9,5)

となる。

事後平均は

E[\theta\mid x]=\frac9{9+5}=\frac9{14}\approx0.6429

であり、標本比率 $7/10=0.7$ と事前平均 $1/2$ の間にある。§E14.3 命題 1.4により、事後分散と標準偏差は

\operatorname{Var}(\theta\mid x) =\frac{9\cdot5}{14^2\cdot15} =\frac{45}{2940} =0.015306\ldots, \qquad \operatorname{sd}(\theta\mid x)\approx0.12372

である。

次の一回の結果を $\widetilde X\in\{0,1\}$ とし、表を $1$ と表す。命題 2.1により

P(\widetilde X=1\mid x) =\int_0^1\theta\pi(\theta\mid x)\,d\theta =E[\theta\mid x] =\frac9{14}\approx0.6429

である。

$\operatorname{Beta}(9,5)$ 分布の $0.025$ 分位点と $0.975$ 分位点を累積分布関数の数値的反転によって求めると、それぞれおよそ

0.385738338\ldots, \qquad 0.861420661\ldots

となる。したがって等裾 $95\%$ 信用区間は $[0.385738338,0.861420661]$ であり、小数第3位まででは $[0.386,0.861]$ である。

6 事後正規近似への展望

注意 6.1 (Bernstein–von Mises の定理). 有限次元の十分に正則な統計モデルでは、適切な局所条件を満たす事前分布のもとで、標本サイズを増やすと事後分布を最尤推定量の近くの正規分布で近似することができる。極限の共分散は Fisher 情報行列の逆行列によって記述される。この結果は事後分布の有限標本での形を保証しない。

定理の精密な正則条件、局所漸近正規性との関係、および証明は、後続単元「数理統計 II」の「漸近統計理論と局所漸近正規性」で扱う。

§E14.8Bayes 推測

1 事前分布と事後分布

2 事後予測分布

3 事後損失と Bayes 推定量

4 共役事前分布

5 信用集合と信用区間

6 事後正規近似への展望

参考文献

前提記事