§E11.4期待値・積率・確率不等式

最終更新

確率変数の平均的な大きさは、確率空間上の Lebesgue 積分によって表される。本記事では、非負確率変数と可積分確率変数を区別して期待値を定義し、分布上の積分へ移す公式を示す。続いて、積率、分散、共分散を導入し、Markov、Chebyshev、Jensen の各不等式を証明する。

1 期待値と分布による積分

確率空間を(Ω,F,P)(\Omega,\mathcal F,P)とする。

定義 1.1. 非負確率変数XXの期待値 (expectation) を

E[X]=∫ΩX dP∈[0,∞]E[X]=\int_\Omega X\,dP\in[0,\infty]

と定める。実数値確率変数XXが可積分、すなわちE[∣X∣]<∞E[|X|]<\inftyであるときは、

E[X]=E[X+]−E[X−]∈RE[X]=E[X^+]-E[X^-]\in\mathbb R

と定める。E[X+]=E[X−]=∞E[X^+]=E[X^-]=\inftyの場合にはE[X]E[X]を定めない。

命題 1.2.X,YX,Yを可積分確率変数とし、a,b∈Ra,b\in\mathbb Rとする。このときaX+bYaX+bYは可積分であり、

E[aX+bY]=aE[X]+bE[Y]E[aX+bY]=aE[X]+bE[Y]

が成り立つ。

証明.∣aX+bY∣≤∣a∣∣X∣+∣b∣∣Y∣|aX+bY|\leq |a||X|+|b||Y|と積分の単調性により、

E[∣aX+bY∣]≤∣a∣E[∣X∣]+∣b∣E[∣Y∣]<∞E[|aX+bY|]\leq |a|E[|X|]+|b|E[|Y|]<\infty

である。したがってaX+bYaX+bYは可積分である。可積分関数に対する Lebesgue 積分の線形性§E9.6 定理 3.2を適用すると、主張の等式を得る。▨

定理 1.3.XXを実数値確率変数とし、その分布をμX=P∘X−1\mu_X=P\circ X^{-1}とする。Borel 可測関数g:R→Rg:\mathbb R\to\mathbb Rが非負であるか、μX\mu_Xに関して可積分であるならば、

E[g(X)]=∫Rg(x) μX(dx)E[g(X)]=\int_{\mathbb R}g(x)\,\mu_X(dx)

が成り立つ。さらに、g(X)g(X)が可積分であることとggがμX\mu_Xに関して可積分であることは同値である。

証明. 像測度に関する積分公式§E9.6 定理 5.3を、可測写像XXと測度PPに適用すれば、非負 Borel 可測関数に対する等式を得る。特に∣g∣|g|へ適用すると、

E[∣g(X)∣]=∫R∣g(x)∣ μX(dx)E[|g(X)|]=\int_{\mathbb R}|g(x)|\,\mu_X(dx)

であるから、可積分性の同値が従う。可積分なggについてはg=g+−g−g=g^+-g^-の両項へ非負の場合の公式を適用し、その差を取ればよい。▨

例 1.4 (有限分布における期待値). 確率変数XXが値−1,0,2-1,0,2をそれぞれ確率1/4,1/4,1/21/4,1/4,1/2で取るとする。このとき

E[X]=−14+2⋅12=34,E[X2]=14+4⋅12=94E[X]=-\frac14+2\cdot\frac12=\frac34, \qquad E[X^2]=\frac14+4\cdot\frac12=\frac94

である。したがって、後で定義する分散は

Var⁡(X)=94−(34)2=2716\operatorname{Var}(X)=\frac94-\left(\frac34\right)^2=\frac{27}{16}

となる。

2 積率、分散、共分散

定義 2.1.k≥1k\geq1を整数とする。E[∣X∣k]<∞E[|X|^k]<\inftyであるとき、E[Xk]E[X^k]をXXの kk次積率 (kk-th moment) という。X∈L2(P)X\in L^2(P)であるとき、

Var⁡(X)=E[(X−E[X])2]\operatorname{Var}(X)=E[(X-E[X])^2]

を分散 (variance) という。X,Y∈L2(P)X,Y\in L^2(P)であるとき、

Cov⁡(X,Y)=E[(X−E[X])(Y−E[Y])]\operatorname{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]

を共分散 (covariance) という。

確率測度は有限測度であるため、L2(P)⊂L1(P)L^2(P)\subset L^1(P)である。この包含と積の可積分性は次の不等式から従う。

定理 2.2 (Cauchy–Schwarz の不等式).X,Y∈L2(P)X,Y\in L^2(P)ならばXY∈L1(P)XY\in L^1(P)であり、

E[∣XY∣]≤(E[X2])1/2(E[Y2])1/2E[|XY|]\leq \bigl(E[X^2]\bigr)^{1/2}\bigl(E[Y^2]\bigr)^{1/2}

が成り立つ。

証明. Hölder の不等式§E9.12 定理 4.2を、測度空間(Ω,F,P)(\Omega,\mathcal F,P)、指数p=q=2p=q=2、関数X,YX,Yに適用する。このとき右辺は有限であるからXYXYは可積分であり、表示された不等式を得る。▨

特にY=1Y=1とすればE[∣X∣]≤(E[X2])1/2E[|X|]\leq(E[X^2])^{1/2}であり、L2(P)⊂L1(P)L^2(P)\subset L^1(P)が確認される。

命題 2.3.X,Y∈L2(P)X,Y\in L^2(P)とa,b,c,d∈Ra,b,c,d\in\mathbb Rに対して、

Var⁡(X)=E[X2]−E[X]2,Cov⁡(X,Y)=E[XY]−E[X]E[Y],Var⁡(aX+b)=a2Var⁡(X),Cov⁡(aX+b,cY+d)=acCov⁡(X,Y)\begin{aligned} \operatorname{Var}(X)&=E[X^2]-E[X]^2,\\ \operatorname{Cov}(X,Y)&=E[XY]-E[X]E[Y],\\ \operatorname{Var}(aX+b)&=a^2\operatorname{Var}(X),\\ \operatorname{Cov}(aX+b,cY+d)&=ac\operatorname{Cov}(X,Y) \end{aligned}

が成り立つ。また、∣Cov⁡(X,Y)∣≤Var⁡(X)Var⁡(Y)|\operatorname{Cov}(X,Y)|\leq\sqrt{\operatorname{Var}(X)\operatorname{Var}(Y)}である。

証明. Cauchy–Schwarz の不等式により、現れる積はすべて可積分である。各定義を展開し、期待値の線形性を用いると最初の四つの等式を得る。最後の不等式は Cauchy–Schwarz の不等式をX−E[X]X-E[X]とY−E[Y]Y-E[Y]に適用して得られる。▨

3 確率不等式

定理 3.1 (Markov の不等式).XXを非負確率変数とし、a>0a>0とする。このとき

P(X≥a)≤E[X]aP(X\geq a)\leq \frac{E[X]}{a}

が成り立つ。右辺は正の無限大であってもよい。

証明. 点ごとにa1{X≥a}≤Xa\mathbf 1_{\{X\geq a\}}\leq Xである。非負関数の積分の単調性を適用すると、

aP(X≥a)=E[a1{X≥a}]≤E[X]aP(X\geq a)=E[a\mathbf 1_{\{X\geq a\}}]\leq E[X]

となる。a>0a>0で割れば主張を得る。▨

系 3.2 (Chebyshev の不等式).X∈L2(P)X\in L^2(P)とt>0t>0に対して、

P(∣X−E[X]∣≥t)≤Var⁡(X)t2P\bigl(|X-E[X]|\geq t\bigr)\leq\frac{\operatorname{Var}(X)}{t^2}

が成り立つ。

証明. 非負確率変数(X−E[X])2(X-E[X])^2と閾値t2t^2に Markov の不等式を適用する。事象{(X−E[X])2≥t2}\{(X-E[X])^2\geq t^2\}は{∣X−E[X]∣≥t}\{|X-E[X]|\geq t\}に等しいため、主張が従う。▨

注意 3.3 (Markov と Chebyshev の不等式). 非負確率変数に対する Markov の不等式と、二次可積分な確率変数に対する Chebyshev の不等式は、それぞれ定理 3.1と系 3.2である。後者は前者を偏差の二乗に適用して得られる。

定理 3.4 (Jensen の不等式).I⊂RI\subset\mathbb Rを区間とし、φ:I→R\varphi:I\to\mathbb Rを凸関数とする。P(X∈I)=1P(X\in I)=1であり、XXとφ(X)\varphi(X)が可積分で、E[X]∈IE[X]\in Iであると仮定する。このとき

φ(E[X])≤E[φ(X)]\varphi(E[X])\leq E[\varphi(X)]

が成り立つ。

証明.m=E[X]m=E[X]と置く。mmがIIの内点であるとする。凸性により、x<m<yx<m<yならば

φ(m)−φ(x)m−x≤φ(y)−φ(m)y−m.\frac{\varphi(m)-\varphi(x)}{m-x} \leq\frac{\varphi(y)-\varphi(m)}{y-m}.

左辺をx<mx<mについて上限した値をs−s_-、右辺をy>my>mについて下限した値をs+s_+とする。u0<m<v0u_0<m<v_0を固定する。x≤u0x\leq u_0では左側の勾配は(φ(m)−φ(u0))/(m−u0)(\varphi(m)-\varphi(u_0))/(m-u_0)以下であり、u0<x<mu_0<x<mでは(φ(v0)−φ(m))/(v0−m)(\varphi(v_0)-\varphi(m))/(v_0-m)以下である。右側の勾配にも同じ二つの固定勾配から有限な下界を得る。したがってs−,s+s_-,s_+は有限であり、s−≤s+s_-\leq s_+である。s∈[s−,s+]s\in[s_-,s_+]を選ぶと、割線勾配の定義からすべてのx∈Ix\in Iに対して

φ(x)≥φ(m)+s(x−m)\varphi(x)\geq\varphi(m)+s(x-m)

が成り立つ。両辺は可積分であるから積分の単調性を適用し、

E[φ(X)]≥φ(m)+s(E[X]−m)=φ(m)E[\varphi(X)]\geq\varphi(m)+s(E[X]-m)=\varphi(m)

を得る。

mmがIIの端点である場合を考える。例えばm=inf⁡Im=\inf IがIIに属するとする。X−m≥0X-m\geq0かつE[X−m]=0E[X-m]=0であるから、非負関数の積分が零であることよりX=mX=mがほとんど至る所で成り立つ。上端の場合も同様である。したがって、この場合には等号が成り立つ。▨

4 演習

問題 4.1.

  1. X∈L2(P)X\in L^2(P)とa∈Ra\in\mathbb Rに対して、a↦E[(X−a)2]a\mapsto E[(X-a)^2]がa=E[X]a=E[X]で最小になることを証明せよ。
  2. X≥0X\geq0かつE[X]<∞E[X]<\inftyとする。P(X≥a)≤E[X]/aP(X\geq a)\leq E[X]/aを用いて、P(X≥n)→0P(X\geq n)\to0を示せ。
  3. X,Y∈L2(P)X,Y\in L^2(P)がVar⁡(X)=4\operatorname{Var}(X)=4、Var⁡(Y)=9\operatorname{Var}(Y)=9を満たすとする。共分散の不等式を用いて、1≤Var⁡(X+Y)≤251\leq\operatorname{Var}(X+Y)\leq25を示せ。

5 扱った範囲と次の記事

本記事では、期待値を Lebesgue 積分として定義し、二次可積分性の下で分散と共分散を定めた。また、Markov、Chebyshev、Jensen の不等式を証明した。次の記事では、これらの公式を Bernoulli 分布、二項分布、幾何分布、Poisson 分布、一様分布、指数分布、および正規分布へ適用する。

参考文献

  1. Patrick Billingsley, Probability and Measure, Anniversary Edition, Wiley, 2012, originally published 1995.
  2. Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Probability Theory and Stochastic Modelling, Springer, Cham, 2021.

前提記事