§D3.14内積とグラム・シュミットの直交化

最終更新

内積空間とは、ベクトル空間に「内積」——長さと角度を測る演算——を備えたものです。以下では実ベクトル空間で考えます。

1 内積の公理とノルム

定義 1.1 (内積・内積空間). 実ベクトル空間VV上の内積とは、二項演算⟨ ⋅ , ⋅ ⟩:V×V→R\langle\,\cdot\,,\,\cdot\,\rangle : V \times V \to \mathbb{R}で、任意のx⃗,y⃗,z⃗∈V\vec x, \vec y, \vec z \in V,c∈Rc \in \mathbb{R}に対し次を満たすものをいう。内積を備えたVVを内積空間という。

  • 対称性：⟨x⃗,y⃗⟩=⟨y⃗,x⃗⟩\langle \vec x, \vec y\rangle = \langle \vec y, \vec x\rangle
  • 第1引数についての線形性：⟨cx⃗+z⃗,y⃗⟩=c⟨x⃗,y⃗⟩+⟨z⃗,y⃗⟩\langle c\vec x + \vec z, \vec y\rangle = c\langle \vec x, \vec y\rangle + \langle \vec z, \vec y\rangle（対称性より第2引数についても線形）
  • 正定値性：⟨x⃗,x⃗⟩≥0\langle \vec x, \vec x\rangle \ge 0であり、=0= 0となるのはx⃗=0⃗\vec x = \vec 0のときに限る

注意 1.2 (複素ベクトル空間の内積). 複素ベクトル空間では、対称性を共役対称⟨x⃗,y⃗⟩=⟨y⃗,x⃗⟩‾\langle \vec x, \vec y\rangle = \overline{\langle \vec y, \vec x\rangle}に替え、線形性は片方の引数にのみ課します。両方の引数に線形性を課すと⟨ix⃗,ix⃗⟩=−⟨x⃗,x⃗⟩\langle i\vec x, i\vec x\rangle = -\langle \vec x, \vec x\rangleとなり、正定値性と両立しません。

Cn\mathbb{C}^nの標準内積を⟨x⃗,y⃗⟩=∑ixiyi‾\langle \vec x, \vec y\rangle = \sum_i x_i\overline{y_i}と定めると、第1引数について線形、第2引数について共役線形です。実のベクトルに制限すればRn\mathbb{R}^nの標準内積∑ixiyi\sum_i x_i y_iと一致します。

定義 1.3 (ノルム・直交).∥x⃗∥=⟨x⃗,x⃗⟩\|\vec x\| = \sqrt{\langle \vec x, \vec x\rangle}をx⃗\vec xのノルム（長さ）、⟨x⃗,y⃗⟩=0\langle \vec x, \vec y\rangle = 0をx⃗⊥y⃗\vec x \perp \vec y（直交）と定める。

定理 1.4 (コーシー・シュワルツの不等式). 内積空間の任意のx⃗,y⃗\vec x, \vec yに対し∣⟨x⃗,y⃗⟩∣≤∥x⃗∥ ∥y⃗∥.|\langle \vec x, \vec y\rangle| \le \|\vec x\|\,\|\vec y\|.

証明.y⃗=0⃗\vec y = \vec 0なら両辺00で成立。y⃗≠0⃗\vec y \ne \vec 0とする。任意の実数ttに対し正定値性より

=∥x⃗∥2−2t⟨x⃗,y⃗⟩+t2∥y⃗∥2.= \|\vec x\|^2 - 2t\langle \vec x, \vec y\rangle + t^2\|\vec y\|^2.

これはttの2次式で、常に≥0\ge 0だから判別式が≤0\le 0：4⟨x⃗,y⃗⟩2−4∥x⃗∥2∥y⃗∥2≤04\langle \vec x, \vec y\rangle^2 - 4\|\vec x\|^2\|\vec y\|^2 \le 0。移項して平方根をとれば∣⟨x⃗,y⃗⟩∣≤∥x⃗∥ ∥y⃗∥|\langle \vec x, \vec y\rangle| \le \|\vec x\|\,\|\vec y\|。▨

系 1.5 (三角不等式).∥x⃗+y⃗∥≤∥x⃗∥+∥y⃗∥\|\vec x + \vec y\| \le \|\vec x\| + \|\vec y\|。

証明.∥x⃗+y⃗∥2=∥x⃗∥2+2⟨x⃗,y⃗⟩+∥y⃗∥2≤∥x⃗∥2+2∥x⃗∥∥y⃗∥+∥y⃗∥2=(∥x⃗∥+∥y⃗∥)2\|\vec x + \vec y\|^2 = \|\vec x\|^2 + 2\langle \vec x, \vec y\rangle + \|\vec y\|^2 \le \|\vec x\|^2 + 2\|\vec x\|\|\vec y\| + \|\vec y\|^2 = (\|\vec x\| + \|\vec y\|)^2（コーシー・シュワルツを使用）。両辺の平方根をとる。▨

x⃗,y⃗\vec x,\vec yがともに零ベクトルでないとき、コーシー・シュワルツは

−1≤⟨x⃗,y⃗⟩∥x⃗∥∥y⃗∥≤1-1 \le \frac{\langle \vec x, \vec y\rangle}{\|\vec x\|\|\vec y\|} \le 1

を保証する。したがって0≤θ≤π0\le\theta\le\piの範囲でcos⁡θ=⟨x⃗,y⃗⟩/(∥x⃗∥∥y⃗∥)\cos\theta=\langle \vec x,\vec y\rangle/(\|\vec x\|\|\vec y\|)と置くことで二ベクトルの角度を定義できる。x⃗\vec xまたはy⃗\vec yが零ベクトルなら分母が00になるため、零ベクトルとの角度は定義しない。

定義 1.6 (正規直交系・正規直交基底). 内積空間VVの有限族(e⃗i)i=1k(\vec e_i)_{i=1}^kが、すべてのiiについて∥e⃗i∥=1\|\vec e_i\|=1を満たし、i≠ji\ne jならばe⃗i⊥e⃗j\vec e_i\perp\vec e_jを満たすとき、この族を 正規直交系 (orthonormal system) といいます。さらに{e⃗1,…,e⃗k}\{\vec e_1,\dots,\vec e_k\}がVVの基底であるとき、この基底を 正規直交基底 (orthonormal basis) といいます。

2 グラム・シュミットの直交化

任意の基底から、正規直交基底（互いに直交し長さ11）を作る手続きがグラム・シュミットの直交化です。核心は、あるベクトルから、既に直交化した方向の成分（射影）を引くこと。下の図の通りです。

定理 2.1 (グラム・シュミット). 一次独立なv⃗1,…,v⃗k\vec v_1, \dots, \vec v_kに対し、u⃗i=v⃗i−∑j<i⟨v⃗i,u⃗j⟩⟨u⃗j,u⃗j⟩u⃗j,e⃗i=u⃗i∥u⃗i∥\vec u_i = \vec v_i - \sum_{j < i}\frac{\langle \vec v_i, \vec u_j\rangle}{\langle \vec u_j, \vec u_j\rangle}\vec u_j, \qquad \vec e_i = \frac{\vec u_i}{\|\vec u_i\|}と順に定めると、{e⃗1,…,e⃗k}\{\vec e_1, \dots, \vec e_k\}は正規直交系で、各mmに対しspan⁡{e⃗1,…,e⃗m}=span⁡{v⃗1,…,v⃗m}\operatorname{span}\{\vec e_1, \dots, \vec e_m\} = \operatorname{span}\{\vec v_1, \dots, \vec v_m\}。

証明.iiについての帰納法で「u⃗1,…,u⃗i\vec u_1, \dots, \vec u_iは互いに直交する00でないベクトル」を示す。u⃗1=v⃗1≠0⃗\vec u_1 = \vec v_1 \ne \vec 0。u⃗1,…,u⃗i−1\vec u_1, \dots, \vec u_{i-1}まで互いに直交かつ00でないとする。まずi>li > lを任意にとると（l<il < i）、直交性の帰納法の仮定よりj≠lj \ne lの項が消え、

−∑j<i⟨v⃗i,u⃗j⟩⟨u⃗j,u⃗j⟩⟨u⃗j,u⃗l⟩=⟨v⃗i,u⃗l⟩−⟨v⃗i,u⃗l⟩⟨u⃗l,u⃗l⟩⟨u⃗l,u⃗l⟩=0.- \sum_{j < i}\frac{\langle \vec v_i, \vec u_j\rangle}{\langle \vec u_j, \vec u_j\rangle}\langle \vec u_j, \vec u_l\rangle = \langle \vec v_i, \vec u_l\rangle - \frac{\langle \vec v_i, \vec u_l\rangle}{\langle \vec u_l, \vec u_l\rangle}\langle \vec u_l, \vec u_l\rangle = 0.

よってu⃗i\vec u_iはu⃗1,…,u⃗i−1\vec u_1, \dots, \vec u_{i-1}すべてに直交する。またu⃗i=0⃗\vec u_i = \vec 0ならv⃗i∈span⁡{u⃗1,…,u⃗i−1}=span⁡{v⃗1,…,v⃗i−1}\vec v_i \in \operatorname{span}\{\vec u_1, \dots, \vec u_{i-1}\} = \operatorname{span}\{\vec v_1, \dots, \vec v_{i-1}\}となり一次独立性に反するからu⃗i≠0\vec u_i \ne 0。これで正規化e⃗i=u⃗i/∥u⃗i∥\vec e_i = \vec u_i/\|\vec u_i\|ができ、{e⃗i}\{\vec e_i\}は正規直交系。定義式はu⃗i\vec u_i（したがってe⃗i\vec e_i）とv⃗i\vec v_iが同じ前の項たちで互いに移り合う形なので、張る空間は各段で一致する。▨

一般には、既に作った直交成分をすべて引き去り、最後に正規化する——引く相手は直前の1本ではなくそれまでに作った全部、というのが要点です。

例 2.2 (R2\mathbb{R}^2で手続きを実行する).v⃗1=(1,1)\vec v_1 = (1, 1)、v⃗2=(1,0)\vec v_2 = (1, 0)に定理 2.1を適用します。まずu⃗1=v⃗1=(1,1)\vec u_1 = \vec v_1 = (1, 1)。次に

u⃗2=v⃗2−⟨v⃗2,u⃗1⟩⟨u⃗1,u⃗1⟩u⃗1=(1,0)−12(1,1)=(12,−12)\vec u_2 = \vec v_2 - \frac{\langle \vec v_2, \vec u_1\rangle}{\langle \vec u_1, \vec u_1\rangle}\vec u_1 = (1, 0) - \frac{1}{2}(1, 1) = \left(\frac12, -\frac12\right)

となり、⟨u⃗1,u⃗2⟩=12−12=0\langle \vec u_1, \vec u_2\rangle = \frac12 - \frac12 = 0で確かに直交しています。{u⃗1,u⃗2}\{\vec u_1, \vec u_2\}が求める直交基底の一組で、さらに正規化すればe⃗1=12(1,1)\vec e_1 = \frac{1}{\sqrt2}(1, 1)、e⃗2=12(1,−1)\vec e_2 = \frac{1}{\sqrt2}(1, -1)という正規直交基底になります。

3 正規直交基底の御利益

命題 3.1 (正規直交展開).{e⃗1,…,e⃗n}\{\vec e_1, \dots, \vec e_n\}を正規直交基底とすると、任意のx⃗\vec xに対しx⃗=∑i=1n⟨x⃗,e⃗i⟩ e⃗i.\vec x = \sum_{i=1}^n \langle \vec x, \vec e_i\rangle\,\vec e_i.

証明. 基底ゆえx⃗=∑icie⃗i\vec x = \sum_i c_i\vec e_iと一意に書ける。両辺とe⃗j\vec e_jの内積をとると、⟨e⃗i,e⃗j⟩\langle \vec e_i, \vec e_j\rangleはi=ji = jのとき11、それ以外00だから⟨x⃗,e⃗j⟩=∑ici⟨e⃗i,e⃗j⟩=cj\langle \vec x, \vec e_j\rangle = \sum_i c_i\langle \vec e_i, \vec e_j\rangle = c_j。よってcj=⟨x⃗,e⃗j⟩c_j = \langle \vec x, \vec e_j\rangle。▨

展開係数が内積で即座に出るのが正規直交基底の御利益です。射影・最小二乗法・フーリエ係数が、すべてこの「内積で成分を取り出す」形になります。

命題 3.2 (正射影は最良近似).{e⃗1,…,e⃗k}\{\vec e_1, \dots, \vec e_k\}を正規直交系、W=span⁡{e⃗i}W = \operatorname{span} \{\vec e_i\}、p⃗=∑i=1k⟨x⃗,e⃗i⟩ e⃗i\vec p = \sum_{i=1}^k \langle \vec x, \vec e_i\rangle\,\vec e_iとすると、x⃗−p⃗\vec x - \vec pはWWに直交し、p⃗\vec pはWWの中でx⃗\vec xに最も近い点である（w⃗∈W\vec w \in Wに対し∥x⃗−p⃗∥≤∥x⃗−w⃗∥\|\vec x - \vec p\| \le \|\vec x - \vec w\|、等号はw⃗=p⃗\vec w = \vec p）。とくに∑i=1k∣⟨x⃗,e⃗i⟩∣2≤∥x⃗∥2\sum_{i=1}^k |\langle \vec x, \vec e_i\rangle|^2 \le \|\vec x\|^2（ベッセルの不等式）。

証明. 各jjで⟨x⃗−p⃗,e⃗j⟩=⟨x⃗,e⃗j⟩−⟨x⃗,e⃗j⟩=0\langle \vec x - \vec p, \vec e_j\rangle = \langle \vec x, \vec e_j\rangle - \langle \vec x, \vec e_j\rangle = 0よりx⃗−p⃗⊥W\vec x - \vec p \perp W。w⃗∈W\vec w \in Wに対しp⃗−w⃗∈W\vec p - \vec w \in Wゆえx⃗−p⃗⊥p⃗−w⃗\vec x - \vec p \perp \vec p - \vec w、ピタゴラスの定理より∥x⃗−w⃗∥2=∥x⃗−p⃗∥2+∥p⃗−w⃗∥2≥∥x⃗−p⃗∥2\|\vec x - \vec w\|^2 = \|\vec x - \vec p\|^2 + \|\vec p - \vec w\|^2 \ge \|\vec x - \vec p\|^2。ベッセルは0≤∥x⃗−p⃗∥2=∥x⃗∥2−∥p⃗∥2=∥x⃗∥2−∑i∣⟨x⃗,e⃗i⟩∣20 \le \|\vec x - \vec p\|^2 = \|\vec x\|^2 - \|\vec p\|^2 = \|\vec x\|^2 - \sum_i |\langle \vec x, \vec e_i\rangle|^2から。▨

例 3.3 (正射影としての最小二乗).A=(11)A=\begin{pmatrix}1\\1\end{pmatrix}、b⃗=(20)\vec b=\begin{pmatrix}2\\0\end{pmatrix}とし、∥At−b⃗∥\|A t-\vec b\|を最小にするt∈Rt\in\mathbb{R}を求める。AAの列空間はW=span⁡{(1,1)⊤}W=\operatorname{span}\{(1,1)^\top\}で、その正規直交基底はe⃗=2−1/2(1,1)⊤\vec e=2^{-1/2}(1,1)^\topである。したがってb⃗\vec bのWWへの正射影は

⟨b⃗,e⃗⟩e⃗=(11)=A⋅1\langle \vec b,\vec e\rangle\vec e =\begin{pmatrix}1\\1\end{pmatrix}=A\cdot1

である。命題 3.2より、最小二乗解はt=1t=1である。列が一次独立な一般の行列について、列空間の正規直交基底を QR 分解で作る方法を§D3.17 定理 3.1で扱う。

これが最小二乗法（データに最も近い部分空間の点を選ぶ）とフーリエ級数（関数を三角関数の張る空間へ射影する）の共通の骨格です。

例 3.4 (ルジャンドル多項式). 実係数多項式の空間R[x]\mathbb{R}[x]に⟨f,g⟩=∫−11f(x)g(x) dx\langle f, g\rangle = \int_{-1}^1 f(x)g(x)\,dxを入れると、これは内積になります。対称性と双線形性は積分の性質から従います。また⟨f,f⟩=∫−11f(x)2 dx≥0\langle f,f\rangle=\int_{-1}^1 f(x)^2\,dx\ge0であり、ffが零多項式でなければf(x0)≠0f(x_0)\ne0となるx0∈[−1,1]x_0\in[-1,1]が存在します。連続性によりx0x_0の近くでf(x)2f(x)^2は正ですので⟨f,f⟩>0\langle f,f\rangle>0です。したがって正定値性も成り立ちます。

この内積について、一次独立な1,x,x2,…1, x, x^2, \dotsにグラム・シュミット（定理 2.1）を適用すると、直交多項式の列（正規化前で1, x, x2−13, …1,\ x,\ x^2 - \tfrac13,\ \dots）が得られます。これがルジャンドル多項式で、球面調和関数や静電ポテンシャルの展開に現れます。内積の中身が和∑\sumから積分∫\intに変わるだけで、有限次元とまったく同じ手続きが働いている——これが「関数を無限次元ベクトルとして扱う」関数解析の入口です。

前提記事