Hessian と局所極値 | 実解析 II | 天游ヶ丘数理学院

1 臨界点

定義 1.1. $U\subset\mathbb R^n$ を開集合とし、 $f:U\to\mathbb R$ を全微分可能な関数とする。 $Df(a)=0$ を満たす点 $a\in U$ を $f$ の臨界点 (critical point) という。勾配を用いれば、この条件は $\nabla f(a)=0$ と同値である。

2 二次形式の符号

定義 2.1. $H$ を実対称 $n\times n$ 行列とし、

q_H(h)=h^{\mathsf T}Hh

とおく。二次形式 $q_H$ が§E3.40 定義 2.1の意味で正定値であるとき、 $H$ は正定値 (positive definite) であるという。 $-H$ が正定値であるとき、 $H$ は負定値 (negative definite) であるという。また、 $q_H$ が正の値と負の値をともに取るとき、 $H$ は不定値 (indefinite) であるという。

§E3.40 定理 1.1と§E3.40 定理 2.2により、実二次形式は正の平方、負の平方および零係数の個数によって分類される。本記事では、この分類を証明せずに用いる。

系 2.2 (Sylvester の判定法). $H$ を実対称 $n\times n$ 行列とし、 $H$ の左上 $k\times k$ 小行列の行列式を $\Delta_k$ とする。 $H$ が正定値であるための必要十分条件は

\Delta_1>0,\quad\Delta_2>0,\quad\ldots,\quad\Delta_n>0

である。

証明. これは、実対称行列に対する§E3.40 定理 3.1そのものである。▨

系 2.3. $\alpha,\beta,\gamma\in\mathbb R$ とし、

H= \begin{pmatrix} \alpha&\beta\\ \beta&\gamma \end{pmatrix}

とおく。

$\alpha>0$ かつ $\det H>0$ ならば、 $H$ は正定値である。
$\alpha<0$ かつ $\det H>0$ ならば、 $H$ は負定値である。
$\det H<0$ ならば、 $H$ は不定値である。

証明.(1)の場合、二つの首座小行列式は $\alpha>0$ と $\det H>0$ であるから、系 2.2により $H$ は正定値である。(2)の場合、 $-H$ の二つの首座小行列式は $-\alpha>0$ と $\det(-H)=\det H>0$ であるから、 $-H$ は正定値である。

(3)の場合、 $H$ は正則なので、二次形式の慣性指数に零係数は現れない。§E3.40 定理 1.1による符号付き対角表示で正または負の平方だけが現れるならば、合同変換の行列を $P$ として

\det(P^{\mathsf T}HP)=(\det P)^2\det H

の左辺は正になる。しかし、右辺は $\det H<0$ から負であり、矛盾する。従って正の平方と負の平方が一つずつ現れ、§E3.40 定理 2.2により $H$ は不定値である。▨

3 Hessian による局所極値判定

定理 3.1. $n\in\mathbb N_{\geq1}$ とし、 $U\subset\mathbb R^n$ を開集合、 $f:U\to\mathbb R$ を $C^2$ 級関数とする。 $a\in U$ を $f$ の臨界点とし、 $H=H_f(a)$ とおく。このとき、次が成り立つ。

$H$ が正定値ならば、 $a$ は $f$ の狭義局所最小点である。
$H$ が負定値ならば、 $a$ は $f$ の狭義局所最大点である。
$H$ が不定値ならば、 $a$ は $f$ の局所最小点でも局所最大点でもない。

証明.§E4.4 定義 3.3により $H$ は実対称行列である。まず、 $H$ が正定値であると仮定する。§D3.15 定理 3.1により、正規直交固有ベクトル $v_1,\ldots,v_n$ と実固有値 $\lambda_1,\ldots,\lambda_n$ が存在する。各 $i$ について

\lambda_i=v_i^{\mathsf T}Hv_i>0

である。従って $c=\min_{1\leq i\leq n}\lambda_i>0$ とおけば、 $h=\sum_i\xi_iv_i$ に対して

h^{\mathsf T}Hh =\sum_{i=1}^n\lambda_i\xi_i^2 \geq c\sum_{i=1}^n\xi_i^2 =c\lVert h\rVert^2 \tag{1}

となる。

$a$ は臨界点であるから、二次 Taylor 展開§E4.5 系 2.1により

f(a+h)-f(a)=\frac12h^{\mathsf T}Hh+r(h), \qquad \frac{r(h)}{\lVert h\rVert^2}\longrightarrow0 \quad(h\to0, h\ne0) \tag{2}

である。 $U$ は開集合なので、ある $\rho>0$ が存在して $B(a,\rho)\subset U$ となる。また、式 (2) の極限から、ある $\delta_0>0$ が存在して

0<\lVert h\rVert<\delta_0 \quad\Longrightarrow\quad |r(h)|\leq\frac{c}{4}\lVert h\rVert^2 \tag{3}

となる。 $\delta=\min\{\rho,\delta_0\}$ とおくと、式 (1) と式 (3) により、 $0<\lVert h\rVert<\delta$ に対して

f(a+h)-f(a) \geq\frac{c}{2}\lVert h\rVert^2-\frac{c}{4}\lVert h\rVert^2 =\frac{c}{4}\lVert h\rVert^2>0

である。従って $a$ は狭義局所最小点である。

$H$ が負定値である場合、 $-f$ は $C^2$ 級であり、 $a$ は $-f$ の臨界点である。また、 $H_{-f}(a)=-H$ は正定値である。既に示した場合を $-f$ へ適用すると、 $a$ は $-f$ の狭義局所最小点、従って $f$ の狭義局所最大点である。

最後に、 $H$ が不定値であると仮定する。定義により、ある $u_+,u_-\in\mathbb R^n\setminus\{0\}$ が存在して

u_+^{\mathsf T}Hu_+>0, \qquad u_-^{\mathsf T}Hu_-<0

となる。式 (2) へ $h=tu_+$ を代入して $t^2$ で割ると

\frac{f(a+tu_+)-f(a)}{t^2} \longrightarrow\frac12u_+^{\mathsf T}Hu_+>0 \qquad(t\to0, t\ne0)

である。同様に、

\frac{f(a+tu_-)-f(a)}{t^2} \longrightarrow\frac12u_-^{\mathsf T}Hu_-<0

である。 $U$ が $a$ の近傍を含むことと二つの極限から、任意の十分小さい正の $t$ に対して

f(a+tu_+)>f(a), \qquad f(a+tu_-)<f(a)

となる。従って $a$ の任意の近傍には $f(a)$ より大きい値を取る点と小さい値を取る点が存在するので、 $a$ は局所最小点でも局所最大点でもない。▨

4 退化する Hessian

例 4.1 (定符号と退化の基本例). 関数

f_1(x,y)=x^2+y^2, \qquad f_2(x,y)=x^2-y^2

を考える。原点は両方の関数の臨界点である。 $H_{f_1}(0,0)=2I$ は正定値なので、原点は $f_1$ の狭義局所最小点である。一方、 $H_{f_2}(0,0)=\operatorname{diag}(2,-2)$ は不定値なので、原点は $f_2$ の局所極値ではない。

次に、

f_3(x,y)=x^2+y^4, \qquad f_4(x,y)=x^2-y^4

を考える。二つの関数は原点で同じ Hessian $\operatorname{diag}(2,0)$ をもつ。 $f_3(x,y)>0$ は $(x,y)\ne(0,0)$ に対して成り立つので、原点は $f_3$ の狭義局所最小点である。これに対し、 $f_4(x,0)=x^2>0$ および $f_4(0,y)=-y^4<0$ が非零の十分小さい $x,y$ に対して成り立つので、原点は $f_4$ の局所極値ではない。同じ半正定値 Hessian が異なる結論をもたらすため、退化する場合には Hessian だけで局所極値を判定することができない。

例 4.2 (完全に退化する鞍点). $f(x,y)=x^3-3xy^2$ とする。原点では $\nabla f(0,0)=0$ かつ $H_f(0,0)=0$ である。極座標を用いると

f(r\cos\theta,r\sin\theta)=r^3\cos(3\theta)

となる。任意の $r>0$ に対して、 $\theta=0$ では値が正であり、 $\theta=\pi/3$ では値が負である。従って原点は局所極値ではない。零行列である Hessian は、この符号変化を捉えない。

5 首座小行列式による計算

例 5.1 (三変数の判定). 関数

f(x,y,z)=x^2-xy+y^2+2z^2

を考える。原点は臨界点であり、その Hessian は

H_f(0,0,0)= \begin{pmatrix} 2&-1&0\\ -1&2&0\\ 0&0&4 \end{pmatrix}

である。首座小行列式は

\Delta_1=2, \qquad \Delta_2=3, \qquad \Delta_3=12

である。従って系 2.2により Hessian は正定値であり、定理 3.1により原点は $f$ の狭義局所最小点である。

6 演習

問題 6.1 (二次判定と退化する場合). $\alpha,\beta\in\mathbb R$ に対し、

f_{\alpha,\beta}(x,y)=x^2+2\alpha xy+y^2+\beta x^4

とおく。原点が臨界点であることを確認し、次の各場合に原点を分類せよ。

$|\alpha|<1$ 。
$|\alpha|>1$ 。
$|\alpha|=1$ かつ $\beta>0$ 、 $\beta=0$ 、 $\beta<0$ の各場合。

解答.

一階偏導関数は

\frac{\partial f_{\alpha,\beta}}{\partial x} =2x+2\alpha y+4\beta x^3, \qquad \frac{\partial f_{\alpha,\beta}}{\partial y} =2\alpha x+2y

であるから、原点は臨界点である。原点における Hessian は

H=2 \begin{pmatrix} 1&\alpha\\ \alpha&1 \end{pmatrix}, \qquad \det H=4(1-\alpha^2)

である。

$|\alpha|<1$ の場合、 $H$ の第1首座小行列式は $2>0$ であり、行列式も正である。系 2.3により $H$ は正定値なので、原点は狭義局所最小点である。 $|\alpha|>1$ の場合、 $\det H<0$ なので $H$ は不定値であり、原点は局所最小点でも局所最大点でもない。

$|\alpha|=1$ の場合、Hessian は退化している。 $\alpha=1$ ならば

f_{1,\beta}(x,y)=(x+y)^2+\beta x^4,

$\alpha=-1$ ならば

f_{-1,\beta}(x,y)=(x-y)^2+\beta x^4

である。 $\beta>0$ ならば、いずれの表示でも原点以外で値が正になるので、原点は狭義局所最小点である。 $\beta=0$ ならば関数は非負であるが、直線 $y=-x$ または $y=x$ 上で零になるので、原点は狭義でない局所最小点である。 $\beta<0$ ならば、対応する直線上では非零の $x$ に対して値が負である一方、 $x=0$ かつ $y\ne0$ では値が正である。従って原点は局所最小点でも局所最大点でもない。▨

§E4.6Hessian と局所極値