連鎖律と勾配 | 実解析 II | 天游ヶ丘数理学院

1 全微分の連鎖律

定理 1.1 (全微分の連鎖律). $U\subset\mathbb R^n$ と $V\subset\mathbb R^m$ を開集合とし、 $f\colon U\to V$ と $g\colon V\to\mathbb R^\ell$ を写像、 $a\in U$ を点とする。 $f$ が $a$ で全微分可能であり、 $g$ が $f(a)$ で全微分可能ならば、 $g\circ f\colon U\to\mathbb R^\ell$ は $a$ で全微分可能であり、

D(g\circ f)(a)=Dg(f(a))\circ Df(a) \in\mathcal L(\mathbb R^n,\mathbb R^\ell)

が成り立つ。

証明. 証明では、合成写像の剰余を二つの項に分離し、それぞれを入力変位のノルムで割った極限を評価する。

$b=f(a)$ 、 $A=Df(a)\in\mathcal L(\mathbb R^n,\mathbb R^m)$ 、 $B=Dg(b)\in\mathcal L(\mathbb R^m,\mathbb R^\ell)$ とおく。 $f$ の全微分可能性により、 $a+h\in U$ を満たす十分小さい $h$ に対して

f(a+h)=b+Ah+r(h), \qquad \frac{\lVert r(h)\rVert}{\lVert h\rVert}\longrightarrow0 \quad(h\to0, h\ne0)

と書くことができる。 $k(h)=Ah+r(h)$ とおく。§E4.2 命題 1.4によって

\frac{\lVert k(h)\rVert}{\lVert h\rVert} \leq \lVert A\rVert_{\mathrm{op}} +\frac{\lVert r(h)\rVert}{\lVert h\rVert}

であるから、左辺は $h=0$ の近くで有界であり、 $k(h)\to0$ である。

$V$ は $b$ を含む開集合である。 $b+k\in V$ を満たす十分小さい $k$ に対して

s(k)=g(b+k)-g(b)-Bk

とおくと、 $g$ の全微分可能性から

\frac{\lVert s(k)\rVert}{\lVert k\rVert}\longrightarrow0 \quad(k\to0, k\ne0)

である。さらに

\varepsilon(k)= \begin{cases} \dfrac{\lVert s(k)\rVert}{\lVert k\rVert},&k\ne0,\\ 0,&k=0 \end{cases}

と定めれば、 $\varepsilon(k)\to0$ となる。

$f(a+h)=b+k(h)$ を $g$ の剰余表示へ代入すると、

g(f(a+h))-g(f(a))-BAh =Br(h)+s(k(h))

を得る。§E4.2 命題 1.4を $B$ に適用すれば、 $h\ne0$ に対して

\begin{aligned} \frac{\lVert Br(h)+s(k(h))\rVert}{\lVert h\rVert} &\leq \lVert B\rVert_{\mathrm{op}} \frac{\lVert r(h)\rVert}{\lVert h\rVert} +\varepsilon(k(h)) \frac{\lVert k(h)\rVert}{\lVert h\rVert}. \end{aligned}

第一項は $0$ へ収束する。第二項では、第一因子が $k(h)\to0$ によって $0$ へ収束し、第二因子が有界であるから、積は $0$ へ収束する。したがって、合成写像の剰余は $o(\lVert h\rVert)$ であり、 $D(g\circ f)(a)=BA$ である。▨

2 平均値不等式

定理 2.1 (ベクトル値写像の平均値不等式). $U\subset\mathbb R^n$ を開集合とし、 $x,y\in U$ を結ぶ閉線分

[x,y]=\{x+t(y-x)\mid 0\leq t\leq1\}

が $U$ に含まれるとする。 $F\colon U\to\mathbb R^m$ が $[x,y]$ の各点で全微分可能であり、ある $M\geq0$ に対して

\lVert DF(z)\rVert_{\mathrm{op}}\leq M \qquad(z\in[x,y])

が成り立つならば、

\lVert F(y)-F(x)\rVert \leq M\lVert y-x\rVert

である。

証明. 証明では、差ベクトル $F(y)-F(x)$ の方向を表す単位ベクトルとの内積によってベクトル値写像を実数値関数へ帰着し、一変数の平均値の定理を適用する。

$F(y)=F(x)$ の場合には結論が成り立つ。以下では $F(y)\ne F(x)$ とし、

u=\frac{F(y)-F(x)}{\lVert F(y)-F(x)\rVert} \in\mathbb R^m

とおく。 $\lVert u\rVert=1$ である。実数値関数 $\varphi\colon[0,1]\to\mathbb R$ を

\varphi(t)=\langle u,F(x+t(y-x))\rangle

によって定める。

$F$ は線分上の各点で全微分可能であるから、§E4.2 命題 1.5によって線分上で連続である。したがって $\varphi$ は $[0,1]$ 上で連続である。写像 $t\mapsto x+t(y-x)$ は全微分可能であり、線形汎関数 $w\mapsto\langle u,w\rangle$ は剰余が零である全微分可能な写像である。したがって定理 1.1により、 $\varphi$ は $(0,1)$ 上で微分可能であり、

\varphi'(t) =\left\langle u,DF(x+t(y-x))(y-x)\right\rangle

を満たす。

§D1.14 定理 3.1 (平均値の定理)を $\varphi$ へ適用すると、ある $\theta\in(0,1)$ が存在して

\varphi(1)-\varphi(0)=\varphi'(\theta)

となる。 $u$ の定義から、左辺は $\lVert F(y)-F(x)\rVert$ に等しい。Cauchy–Schwarz の不等式と§E4.2 命題 1.4によって

\begin{aligned} \lVert F(y)-F(x)\rVert &=\left\langle u,DF(x+\theta(y-x))(y-x)\right\rangle\\ &\leq\lVert u\rVert \left\lVert DF(x+\theta(y-x))(y-x)\right\rVert\\ &\leq\lVert DF(x+\theta(y-x))\rVert_{\mathrm{op}}\lVert y-x\rVert\\ &\leq M\lVert y-x\rVert \end{aligned}

を得る。▨

例 2.2 (ベクトル値の平均値等式が成立しない例). 開区間 $U=(-1,2\pi+1)$ 上の写像 $F\colon U\to\mathbb R^2$ を

F(t)=(\cos t,\sin t)

によって定める。 $F(2\pi)-F(0)=0$ である。一方、任意の $c\in(0,2\pi)$ に対して

DF(c)(2\pi)=2\pi(-\sin c,\cos c)\ne0

である。したがって、実数値関数の平均値の定理を模倣した等式

F(2\pi)-F(0)=DF(c)(2\pi-0)

を満たす $c$ は存在しない。ベクトル値写像では、一点における微分との等式ではなく、定理 2.1のノルム評価を用いる必要がある。

系 2.3. $U\subset\mathbb R^n$ を空でない凸な開集合とし、 $F\colon U\to\mathbb R^m$ が $U$ の各点で全微分可能であるとする。すべての $z\in U$ に対して $DF(z)=0$ ならば、 $F$ は定数写像である。

証明. $x,y\in U$ を任意に取る。 $U$ の凸性により $[x,y]\subset U$ である。定理 2.1を $M=0$ として適用すると、

\lVert F(y)-F(x)\rVert\leq0

となるから、 $F(y)=F(x)$ である。 $x,y$ は任意であるため、 $F$ は定数写像である。▨

3 勾配と方向微分

定義 3.1. $U\subset\mathbb R^n$ を開集合、 $f\colon U\to\mathbb R$ を関数、 $a\in U$ を点とする。 $f$ のすべての偏微分が $a$ で存在するとき、

\nabla f(a) =\bigl(\partial_1f(a),\ldots,\partial_nf(a)\bigr) \in\mathbb R^n

を $f$ の $a$ における勾配 (gradient) という。

定理 3.2. $U\subset\mathbb R^n$ を開集合、 $f\colon U\to\mathbb R$ を関数、 $a\in U$ を点とする。 $f$ が $a$ で全微分可能ならば、任意の $h\in\mathbb R^n$ に対して

Df(a)h=\langle\nabla f(a),h\rangle

が成り立つ。さらに、 $\nabla f(a)$ はこの等式を満たす唯一のベクトルであり、任意の $v\in\mathbb R^n$ に対して

D_vf(a)=\langle\nabla f(a),v\rangle

である。

証明.§E4.2 命題 1.5により、すべての偏微分が $a$ で存在し、標準基底 $e_j$ に対して

Df(a)e_j=\partial_jf(a)

である。 $h=\sum_{j=1}^nh_je_j$ と書けば、 $Df(a)$ の線形性から

Df(a)h =\sum_{j=1}^nh_jDf(a)e_j =\sum_{j=1}^nh_j\partial_jf(a) =\langle\nabla f(a),h\rangle

を得る。

$w\in\mathbb R^n$ も $Df(a)h=\langle w,h\rangle$ をすべての $h$ について満たすとする。 $h=e_j$ とすれば $w_j=Df(a)e_j=\partial_jf(a)$ となるため、 $w=\nabla f(a)$ である。最後に、§E4.2 命題 1.5の方向微分に関する結論へ $h=v$ の表示を適用すると、

D_vf(a)=Df(a)v=\langle\nabla f(a),v\rangle

となる。▨

命題 3.3. $U\subset\mathbb R^n$ を開集合、 $f\colon U\to\mathbb R$ を関数、 $a\in U$ を点とする。 $f$ が $a$ で全微分可能ならば、単位ベクトル $v$ に関する $D_vf(a)$ の最大値は $\lVert\nabla f(a)\rVert$ である。 $\nabla f(a)\ne0$ の場合、最大値を与える単位ベクトルは

v=\frac{\nabla f(a)}{\lVert\nabla f(a)\rVert}

である。 $\nabla f(a)=0$ の場合、すべての単位ベクトルが最大値 $0$ を与える。

証明.定理 3.2と Cauchy–Schwarz の不等式により、単位ベクトル $v$ に対して

D_vf(a) =\langle\nabla f(a),v\rangle \leq\lVert\nabla f(a)\rVert

である。 $\nabla f(a)\ne0$ の場合には、主張にある $v$ を取れば等号が成り立つ。等号が成り立つ単位ベクトルは $\nabla f(a)$ と同じ向きでなければならないから、この $v$ に限る。 $\nabla f(a)=0$ の場合には、任意の $v$ に対して $D_vf(a)=0$ である。▨

系 3.4. $U\subset\mathbb R^n$ を開集合、 $I\subset\mathbb R$ を開区間、 $t_0\in I$ を点とする。 $\gamma\colon I\to U$ が $t_0$ で微分可能であり、 $f\colon U\to\mathbb R$ が $\gamma(t_0)$ で全微分可能ならば、

\frac{d}{dt}f(\gamma(t))\bigg|_{t=t_0} =\left\langle\nabla f(\gamma(t_0)),\gamma'(t_0)\right\rangle

が成り立つ。

証明. $\gamma$ の全微分は

D\gamma(t_0)s=s\gamma'(t_0) \qquad(s\in\mathbb R)

である。定理 1.1によって

D(f\circ\gamma)(t_0)1 =Df(\gamma(t_0))\bigl(D\gamma(t_0)1\bigr) =Df(\gamma(t_0))\gamma'(t_0)

となる。定理 3.2を右辺へ適用すれば結論を得る。▨

4 演習

問題 4.1 (合成関数の全微分と勾配). 写像 $F\colon\mathbb R^2\to\mathbb R^2$ と関数 $q\colon\mathbb R^2\to\mathbb R$ を

F(x,y)=(xe^y,x^2+y), \qquad q(u,v)=u^2+v^2

によって定める。定理 1.1を用いて $D(q\circ F)(a,b)$ を求め、定理 3.2によって $\nabla(q\circ F)(a,b)$ を求めよ。

解答.

$h,k\in\mathbb R$ に対して

DF(a,b)(h,k) =\bigl(e^bh+ae^bk,2ah+k\bigr)

であり、 $r,s\in\mathbb R$ に対して

Dq(u,v)(r,s)=2ur+2vs

である。したがって連鎖律により

\begin{aligned} D(q\circ F)(a,b)(h,k) &=Dq(F(a,b))\bigl(DF(a,b)(h,k)\bigr)\\ &=2ae^b(e^bh+ae^bk)+2(a^2+b)(2ah+k)\\ &=\bigl(2ae^{2b}+4a(a^2+b)\bigr)h\\ &\quad+\bigl(2a^2e^{2b}+2(a^2+b)\bigr)k. \end{aligned}

よって

\nabla(q\circ F)(a,b) =\bigl(2ae^{2b}+4a(a^2+b),\ 2a^2e^{2b}+2(a^2+b)\bigr)

である。▨

問題 4.2 (一階連続微分可能な写像の局所 Lipschitz 性). $U\subset\mathbb R^n$ を開集合、 $F\colon U\to\mathbb R^m$ を $C^1$ 級の写像、 $a\in U$ を点とする。ある $r>0$ と $L\geq0$ が存在して、任意の $x,y\in\overline B(a,r)$ に対して

\lVert F(y)-F(x)\rVert\leq L\lVert y-x\rVert

となることを、定理 2.1を用いて証明せよ。

解答.

$U$ は開集合であるから、 $\overline B(a,r_0)\subset U$ を満たす $r_0>0$ が存在する。 $DF$ は $a$ で作用素ノルムについて連続であるから、 $0<r\leq r_0$ を十分小さく取れば、任意の $z\in\overline B(a,r)$ に対して

\lVert DF(z)-DF(a)\rVert_{\mathrm{op}}<1

となる。したがって

\lVert DF(z)\rVert_{\mathrm{op}} \leq\lVert DF(a)\rVert_{\mathrm{op}}+1

である。閉球 $\overline B(a,r)$ は凸集合であるから、 $x,y\in\overline B(a,r)$ に対して $[x,y]\subset\overline B(a,r)\subset U$ である。定理 2.1を

L=\lVert DF(a)\rVert_{\mathrm{op}}+1

として適用すれば結論を得る。▨

§E4.3連鎖律と勾配

1 全微分の連鎖律

2 平均値不等式

3 勾配と方向微分

4 演習

参考文献

前提記事