2012年11月27日 星期二

[數學分析] 隱函數定理

在開始之前我們先說明到底 隱函數定理 想解決什麼問題?也就是:
何時能把 多變數函數 $f(x,y)=0$ 中的變數 用另一個變數表示 e.g., $x$ 用 $y$ 表示。

考慮 $f$ 為 雙變數函數 且 $f \in C^1$,則函數 $f$ 在 點 $(a,b)$ 滿足
\[
f(a,b) = 0,\;\; \frac{\partial f}{\partial y}(a,b) \neq 0
\]則在 $(a,b)$ 附近的鄰域之內,我們可求解方程式 $f(x,y) =0$ 並將 $y$ 用 $x$ 表示。
同理,若在 \[
f(a,b) = 0,\;\; \frac{\partial f}{\partial x}(a,b) \neq 0
\]則我們就可在  $(a,b)$ 附近的鄰域之內,我們可求解方程式 $f(x,y) =0$ 中的 $x$ 用 $y$ 表示。

Example
考慮 $f(x,y) := x^2 + y^2 -1$ 。
Q1: 求解 $f(x,y)=0$ 在 $(x,y)=(a,b) = (1/\sqrt{2}, 1/\sqrt{2})$處,問是否其解 $x$ 可用 $y$ 表示 or  將解 $y$ 用 $x$ 表示?

Q2: 求解 $f(x,y)=0$ 在 $(x,y)=(a,b) = (1, 0)$處,問是否其解 $x$ 可用 $y$ 表示 or  將解 $y$ 用 $x$ 表示?

Proof:
考慮 $(a,b)= (1/\sqrt{2}, 1/\sqrt{2})$ 且觀察
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial y}}\left( {a,b} \right) = {\left. {2y} \right|_{\left( {a,b} \right)}} = 2b = \frac{1}{{\sqrt 2 }} \ne 0\\
\frac{{\partial f}}{{\partial x}}\left( {a,b} \right) = {\left. {2x} \right|_{\left( {a,b} \right)}} = 2a = \frac{1}{{\sqrt 2 }} \ne 0
\end{array} \right.\]故在 $(a,b)= (1/\sqrt{2}, 1/\sqrt{2})$ 附近我們求解 \[f(x,y) = 0 \Rightarrow {x^2} + {y^2} - 1 = 0\]可將 $x$ 用 $y$ 表示;亦可將 $y$ 用 $x$ 表示:
\[\left\{ \begin{array}{l}
x = \pm \sqrt {1 - {y^2}} \\
y = \pm \sqrt {1 - {x^2}}
\end{array} \right.\]

Q2: 考慮 $(a,b)=(1,0)$ 則
\[\left\{ \begin{array}{l}
\frac{{\partial f}}{{\partial y}}\left( {a,b} \right) = {\left. {2y} \right|_{\left( {a,b} \right)}} = 0\\
\frac{{\partial f}}{{\partial x}}\left( {a,b} \right) = {\left. {2x} \right|_{\left( {a,b} \right)}} = 2a = 2 \ne 0
\end{array} \right.\]故上述表示我們可以將 $x$ 用 $y$ 表示,但 $y$ 未知是否可用 $x$ 表示 (no conclusion)。$\square$



Implicit Function Theorem 便是要試圖回答上述問題 (回答何時可將解用其他變數表示!)。現在我們首先將上述結果推廣到 $\mathbb{R}^n$ ,在此之前我們需先定義一些需要的符號:

若 $\bf x$ $:=(x_1,...,x_n) \in \mathbb{R}^n$ 且 $\bf y $ $:= (y_1,...,y_m) \in \mathbb{R}^m$,令
\[{\bf{z}}: = \left( {{\bf{x}},{\bf{y}}} \right): = \left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) \in {\mathbb{R}^{m + n}}
\]考慮任意 Linear transformation $A:= L(\mathbb{R}^{n+m}, \mathbb{R}^n)$ ,我們可將 $A$ 拆成兩個 Linear transformation $A_x \in L(\mathbb{R}^n,\mathbb{R}^n )$ 與 $A_y \in L(\mathbb{R}^m, \mathbb{R}^n)$ 如下:
對任意 $\bf h$ $\in \mathbb{R}^n$ 與 $\bf k$ $\in \mathbb{R}^m$,
\[\left\{ \begin{array}{l}
{A_x}{\bf{h}}: = A\left( {{\bf{h}},{\bf{0}}} \right)\\
{A_y}{\bf{k}}: = A\left( {{\bf{0}},{\bf{k}}} \right)
\end{array} \right.\]且 $A\left( {{\bf{h}},{\bf{k}}} \right): = {A_x}{\bf{h}} + {A_y}{\bf{k}}$

現在我們可以寫下 Linear Version 的 隱函數定理:

==============
Theorem 1: 若 $A \in L(\mathbb{R}^{m+n}, \mathbb{R}^n)$ 且若 $A_x$ 為 invertible 則 存在 唯一 $\bf h$ $\in \mathbb{R}^n$ 使得 對任意 $\bf k$ $\in \mathbb{R}^m$,$A({\bf h,k}) = \bf 0$
且 此解 $\bf h$ 可用 $\bf k$ 表示如下
\[{\bf{h}} =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}{\bf{k}}
\]==============

Proof:
我們要證明 存在唯一 $\bf h$ $\in \mathbb{R}^n$ 使得 對任意 $\bf k$ $\in \mathbb{R}^m$,$A({\bf h,k}) = \bf 0$

由 $A \in L(\mathbb{R}^{m+n}, \mathbb{R}^n)$ 可知
\[A\left( {{\bf{h}},{\bf{k}}} \right): = {A_x}{\bf{h}} + {A_y}{\bf{k}} \ \ \ \ (*)
\]故若  $A_x$ 為 invertible (i.e., $A_x ^{-1}$ 存在) ,則我們對 $(*)$ 求解 $\bf h$
\[\begin{array}{l} {A_x}{\bf{h}} + {A_y}{\bf{k}} = {\bf{0}}\\ \Leftrightarrow {A_x}{\bf{h}} = - {A_y}{\bf{k}}\\ \Leftrightarrow {\bf{h}} = - {\left( {{A_x}} \right)^{ - 1}}{A_y}{\bf{k}} \ \ \ \ \square \end{array}\]

現在我們可以給出 Implicit Function Theorem:

==============
Theorem: Implicit Function Theorem
令 $\bf f$ 為 $C^1$ 映射從 open set $E \subset \mathbb{R}^{n+m}$ 映到 $\mathbb{R}^n$,且存在點 $({\bf a,b}) \in E$ 使得 ${\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{0}}$。令 $A:= {\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 且假設 $A_x$ 為 invertible。則
存在 兩個 open sets $U \subset \mathbb{R}^{n+m}$ 與 $W \subset \mathbb{R}^m$  使得點 $({\bf a,b}) \in U$ 且 $\bf b$ $\in W$ 且下列條件滿足:
1. 對任意 $\bf y$ $\in W$,存在唯一 $\bf x$ 使得 \[\left( {{\bf{x}},{\bf{y}}} \right) \in U,\begin{array}{*{20}{c}}
{}&{}
\end{array}{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\]2. 若此 $\bf x$ $:= {{\bf g}({\bf y})}$  則 $\bf g$$:W \to \mathbb{R}^n$ 為 $C^1$ 映射 ,且 ${\bf{g}}\left( {\bf{b}} \right) = {\bf{a}}$ 且 對任意 $\bf y$ $\in W$ ,${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$另外
\[{\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\]==============

Comments: 
1. 函數 $g$ 被隱密的定義在 ${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$ 且 $\bf x$ 被表示成 $g({\bf y})$。且 $\bf f(a,b) =0$ 表示 $\bf (a,b)$ 為 $\bf f$ 的解。

2. 上述定理提及的 ${\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}$ 可表示成 $n+m$ 個變數,且 $n$ 個方程式:
\[{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}} \Leftrightarrow \left\{ \begin{array}{l}
{f_1}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0\\
{f_2}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0\\
\begin{array}{*{20}{c}}
{}
\end{array} \vdots \\
{f_n}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0
\end{array} \right.\]且 定理中所提及的 $A_x$ 為 invertible 意指下列矩陣
\[{\left[ {\begin{array}{*{20}{c}}
{{D_1}{f_1}\left( {{\bf{a}},{\bf{b}}} \right)}& \cdots &{{D_n}{f_1}\left( {{\bf{a}},{\bf{b}}} \right)}\\
 \vdots & \ddots & \vdots \\
{{D_1}{f_n}\left( {{\bf{a}},{\bf{b}}} \right)}& \cdots &{{D_n}{f_n}\left( {{\bf{a}},{\bf{b}}} \right)}
\end{array}} \right]_{n \times n}}\]在點 $({\bf a,b})$ 處為 invertible linear operator in $\mathbb{R}^n$;換言之,上述矩陣在 $({\bf a,b})$ 處之 determinatnt 不為零。Theorem 1 只是考慮上述的 $f_1,...,f_n$ 為線性的情況。

3. 由於 $n+m$ 個未知變數,有 $n$ 個方程式,不需要 Implicit Function Theorem 我們應該也可知道在此情況下方程式的解有額外的 $m$ 個自由度。故基本上此定理想要知道是否可將手邊的變數用其他變數表示,更進一步的說,如果考慮上述 \[{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}} \Leftrightarrow \left\{ {\begin{array}{*{20}{l}}
{{f_1}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0}\\
{{f_2}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0}\\
{\begin{array}{*{20}{c}}
{}
\end{array} \vdots }\\
{{f_n}\left( {{x_1},...,{x_n},{y_1},...,{y_m}} \right) = 0}
\end{array}} \right.\]且現在給定 $y_1,...,y_m$,則情況變成 $n$ 個未知數與 $n $ 個方程式,我們想問是否有 "唯一" 解。那麼問題變成 when 有唯一解?? 回憶線性代數,我們知道必須要有 invertibability 幫忙。

4. 由於 ${\bf f}({\bf a, b}) = \bf 0$,其對應的導數 $D \bf f$ 可寫成
\[D{\bf{f}} = \left[ {\begin{array}{*{20}{c}}
{\underbrace {{D_{\bf{x}}}{\bf{f}}}_{n \times n}}&{\underbrace {{D_{\bf{y}}}{\bf{f}}}_{n \times m}}
\end{array}} \right]\]且  Implicit Function Theorem 單純指出若 $D_{\bf x} {\bf f}({\bf a, b}) $ 為 invertible,則 (在 $(\bf a,b)$ 附近鄰域) ${\bf x}$ 可寫成 $\bf y$ 的函數


Proof: Implicit Function Theorem
我們首先證明 存在 兩個 open sets $U \in \mathbb{R}^{n+m}$ 與 $W \subset \mathbb{R}^m$  使得點 $({\bf a,b}) \in U$ 且 $\bf b$ $\in W$ 且第一個條件滿足:
給定任意 $\bf y$ $\in W$,  存在唯一 $\bf x$ 使得 \[\left( {{\bf{x}},{\bf{y}}} \right) \in U,\begin{array}{*{20}{c}}
{}&{}
\end{array}{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\]證明唯一性之前我們先證明 存在性。

首先定義新的函數 $\bf F$ 如下:對任意 $\left( {{\bf{x}},{\bf{y}}} \right) \in E$,
\[{\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right): = \left( {{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right),{\bf{y}}} \right)\]則 $\bf F$ 為 $C^1$ 映射從 $E$ 映到 $\mathbb{R}^{n+m}$。

Claim: ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 invertible element of $L(\mathbb{R}^{n+m})$
Proof:
要證明 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 invertible element of $L(\mathbb{R}^{n+m})$,由於在 有限維度空間,我們只需證明 $\bf f$ 為 1-1。

由於 ${\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{0}}$,觀察
\[{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right)\]由 $\bf f'$ 定義可知
\[\begin{array}{l}
\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) + A\left( {{\bf{h}},{\bf{k}}} \right)} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0\\
 \Leftrightarrow {\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = A\left( {{\bf{h}},{\bf{k}}} \right) + {\bf{r}}\left( {{\bf{h}},{\bf{k}}} \right)
\end{array}\]其中 $\bf r$ 表示 remainder。

由前述計算,我們可以接著檢驗 $\bf F'$;首先觀察
\[\begin{array}{l}
{\bf{F}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{F}}\left( {{\bf{a}},{\bf{b}}} \right) = \left( {{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right),{\bf{b}} + {\bf{k}}} \right) - \left( {{\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right),{\bf{b}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left( {{\bf{f}}\left( {{\bf{a}} + {\bf{h}},{\bf{b}} + {\bf{k}}} \right) - {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right),{\bf{k}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left( {A\left( {{\bf{h}},{\bf{k}}} \right) + {\bf{r}}\left( {{\bf{h}},{\bf{k}}} \right),{\bf{k}}} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left( {A\left( {{\bf{h}},{\bf{k}}} \right),{\bf{k}}} \right) + \left( {{\bf{r}}\left( {{\bf{h}},{\bf{k}}} \right),{\bf{0}}} \right)
\end{array}\]上式表示 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 linear operator on $\mathbb{R}^{n+m} $且將 $(\bf h,k)$ 映射到 $\left( {A\left( {{\bf{h}},{\bf{k}}} \right),{\bf{k}}} \right)$。

注意到若 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)=0$ 則 \[A\left( {{\bf{h}},{\bf{k}}} \right) = {\bf{0}},{\bf{k}} = {\bf{0}}\]因此 $A\left( {{\bf{h}},{\bf{0}}} \right) = {\bf{0}}$。由先前的 Theorem 1 可知 $\bf h = 0$,故 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 為 1-1 (因為 $A\left( {{\bf{h}},{\bf{k}}} \right) = {\bf{0}}$ only if $\bf h,k =0$);因此 為 invertible。$\square$-Claim。

由於 $\bf F$ 為 $C^1$ 且 ${\bf{F}}'\left( {{\bf{a}},{\bf{b}}} \right)$ invertible,故由 Inverse Function Theorem 可知
存在 opens sets $U, V \subset \mathbb{R}^{n+m}$ 且 $\left( {{\bf{a}},{\bf{b}}} \right) \in U$ ,$\left( {{\bf{0}},{\bf{b}}} \right) \in V$ 使得 $\bf F$ 為 1-1 映射從 $U \to V$。

令 $W: = \left\{ {{\bf{y}} \in {\mathbb{R}^m}:\left( {{\bf{0}},{\bf{y}}} \right) \in V} \right\}$。則由於 $\left( {{\bf{0}},{\bf{b}}} \right) \in V$ 故 $\left( {{\bf{0}},{\bf{b}}} \right) \in W$。且由於 $V$ 為 open 故 $W$ 必為 open。

若 $\bf y$ $\in W$,則存在 $(\bf x,y)$ $\in U$ 使得 \[\left( {{\bf{0}},{\bf{y}}} \right) = {\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right)\]且此 $\bf x$ 滿足
\[\begin{array}{l}
\left( {{\bf{0}},{\bf{y}}} \right) = {\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right)\\
 \Rightarrow \left( {{\bf{0}},{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right),{\bf{y}}} \right)\\
 \Rightarrow {\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\end{array}\]

現在我們證此 $\bf x$ 為唯一! :考慮 同個 $\bf y$ 但另一個 ${{\bf{\bar x}}}$ 滿足 $\left( {{\bf{\bar x}},{\bf{y}}} \right) \in U$ 使得 \[{\bf{f}}\left( {{\bf{\bar x}},{\bf{y}}} \right) = {\bf{0}}\]現在觀察
\[{\bf{F}}'\left( {{\bf{\bar x}},{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{\bar x}},{\bf{y}}} \right),{\bf{y}}} \right) = \left( {{\bf{0}},{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right),{\bf{y}}} \right) = {\bf{F}}\left( {{\bf{x}},{\bf{y}}} \right)\]由於$\bf F$ 為 1-1故 ${\bf{x}} = {\bf{\bar x}}$


接著我們證明第二個結果成立;亦即
若此 $\bf x$ $:= {{\bf g}({\bf y})}$  則 $\bf g$$:W \to \mathbb{R}^n$ 為 $C^1$ 映射 ,且 ${\bf{g}}\left( {\bf{b}} \right) = {\bf{a}}$ 且 對任意 $\bf y$ $\in W$ ,${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$ 另外 ${\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}$

故 我們定義 ${{\bf g}({\bf y})}$ 對任意 $\bf y$ $\in W$ 使得 $\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) \in U$ 且 ${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$ 則
\[{\bf{F}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = \left( {{\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right),{\bf{y}}} \right) = \left( {{\bf{0}},{\bf{y}}} \right)\]若 $\bf G$ 為映射從 $V$ onto $U$ 且 $\bf G$ 為 $\bf F$ 的 inverse,則 Inverse Function Theorem 可知 $\bf G$ 為 $C^1$。且由於
\[\begin{array}{l}
{\bf{F}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = \left( {{\bf{0}},{\bf{y}}} \right)\\
 \Rightarrow \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {{\bf{F}}^{ - 1}}\left( {{\bf{0}},{\bf{y}}} \right) = {\bf{G}}\left( {{\bf{0}},{\bf{y}}} \right)\\
 \Rightarrow \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{G}}\left( {{\bf{0}},{\bf{y}}} \right)
\end{array}\]由於 $\bf G$ $\in C^1$ 故 $\bf g$$\in C^1$。

最後,我們證明 ${\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {A_x^{}} \right)^{ - 1}}A_y^{}$ 。令
\[{\bf{\Phi }}\left( {\bf{y}} \right): = \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right)\]則對任意 $\bf y$ $\in W$ 與 $\bf k$ $\in \mathbb{R}^m$ 我們有
\[{\bf{\Phi }}'\left( {\bf{y}} \right){\bf{k}} = \left( {{\bf{g}}'\left( {\bf{y}} \right){\bf{k}},{\bf{k}}} \right)\]由於
\[{\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}} \Rightarrow {\bf{f}}\left( {{\bf{\Phi }}\left( {\bf{y}} \right)} \right) = {\bf{0}}\]利用 Chain Rule 可知
\[{\bf{f}}'\left( {{\bf{\Phi }}\left( {\bf{y}} \right)} \right){\bf{\Phi }}'\left( {\bf{y}} \right) = 0 \ \ \ \ (\star)
\]當 $\bf y = b$ 則
\[{\bf{\Phi }}\left( {\bf{y}} \right): = \left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) \Rightarrow {\bf{\Phi }}\left( {\bf{b}} \right) = \left( {{\bf{g}}\left( {\bf{b}} \right),{\bf{b}}} \right) = \left( {{\bf{a}},{\bf{b}}} \right)\]且 ${\bf{f}}'\left( {{\bf{\Phi }}\left( {\bf{b}} \right)} \right) = {\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right) = A$。因此 $(\star)$ 式變成
\[\begin{array}{l}
{{\bf{f}}^\prime }\left( {{\bf{\Phi }}\left( {\bf{y}} \right)} \right){{\bf{\Phi }}^\prime }\left( {\bf{y}} \right) = 0\\
 \Rightarrow {{\bf{f}}^\prime }\left( {{\bf{\Phi }}\left( {\bf{b}} \right)} \right){{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0\\
 \Rightarrow {{\bf{f}}^\prime }\left( {{\bf{a}},{\bf{b}}} \right){{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0\\
 \Rightarrow A{{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0
\end{array}\]現在回憶  $A\left( {{\bf{h}},{\bf{k}}} \right): = {A_x}{\bf{h}} + {A_y}{\bf{k}}$;故此若我們觀察:對任意 $\bf k$ $\in \mathbb{R}^m$
\[\begin{array}{l}
A{{\bf{\Phi }}^\prime }\left( {\bf{b}} \right) = 0\\
 \Rightarrow A{{\bf{\Phi }}^\prime }\left( {\bf{b}} \right){\bf{k}} = {\bf{0}}\\
 \Rightarrow A\left( {{{\bf{g}}^\prime }\left( {\bf{b}} \right){\bf{k}},{\bf{k}}} \right) = {\bf{0}}\\
 \Rightarrow {A_x}{{\bf{g}}^\prime }\left( {\bf{b}} \right){\bf{k}} + {A_y}{\bf{k}} = {\bf{0}}
\end{array}\]因此我們有
\[\begin{array}{l}
{A_x}{{\bf{g}}^\prime }\left( {\bf{b}} \right){\bf{k}} + {A_y}{\bf{k}} = {\bf{0}}\\
 \Rightarrow {A_x}{{\bf{g}}^\prime }\left( {\bf{b}} \right) + {A_y} = 0\\
 \Rightarrow {{\bf{g}}^\prime }\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\end{array}\]至此證明完畢。


現在看個例子:

Example: Application of Implicit Function Theorem
取 $n =2, m=3$ 且考慮 ${\bf{f}}: = \left( {{f_1},{f_2}} \right):{\mathbb{R}^5} \to {\mathbb{R}^2}$ 滿足
\[\left\{ \begin{array}{l}
{f_1}\left( {{x_1},{x_2},{y_1},{y_2},{y_3}} \right): = 2{e^{{x_1}}} + {x_2}{y_1} - 4{y_2} + 3\\
{f_2}\left( {{x_1},{x_2},{y_1},{y_2},{y_3}} \right): = {x_2}\cos {x_1} - 6{x_1} + 2{y_1} - {y_3}
\end{array} \right.\]若 $\bf a$$:=(0,1)$ 與 $\bf b$ $:=(3,2,7)$,則我們有 \[{\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = \left\{ \begin{array}{l}
{f_1}\left( {0,1,3,2,7} \right): = 2 + 3 - 4 \cdot 2 + 3 = 0\\
{f_2}\left( {0,1,3,2,7} \right): = 1 \cdot 1 - 0 + 2 \cdot 3 - 7 = 0
\end{array} \right. \Rightarrow {\bf{f}}\left( {{\bf{a}},{\bf{b}}} \right) = {\bf{0}}\]現在若我們考慮 standard basis ,則 Linear transformation $A:={\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right)$ 可表示成如下矩陣
\[\begin{array}{l}
A: = {\bf{f}}'\left( {{\bf{a}},{\bf{b}}} \right) = {\left[ {\begin{array}{*{20}{c}}
{2{e^{{x_1}}}}&{{y_1}}&{{x_2}}&{ - 4}&0\\
{ - {x_2}\sin {x_1} - 6}&{\cos {x_1}}&2&0&{ - 1}
\end{array}} \right]_{\left( {{\bf{x}},{\bf{y}}} \right) = \left( {{\bf{a}},{\bf{b}}} \right)}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left[ {\begin{array}{*{20}{c}}
2&3&1&{ - 4}&0\\
{ - 6}&1&2&0&{ - 1}
\end{array}} \right]
\end{array}\]其中
\[{A_x}: = \left[ {\begin{array}{*{20}{c}}
2&3\\
{ - 6}&1
\end{array}} \right];{A_y}: = \left[ {\begin{array}{*{20}{c}}
1&{ - 4}&0\\
2&0&{ - 1}
\end{array}} \right];\]
為了要使用 Implicit Function Theorem, 我們需要 $A_x$ 為 invertible。 (如果是! 則  Implicit Function Theorem 告訴我們在 $(\bf a,b)$ 附近可以把 $\bf x$ 用 $\bf y$ 表示):故現在檢驗 $\det A_x$:
\[\det {A_x} = \det \left[ {\begin{array}{*{20}{c}}
2&3\\
{ - 6}&1
\end{array}} \right] = 20 \ne 0\]此顯示了 $A_x$ 為 invertible

Implicit Function Theorem 告訴我們存在 兩個 open sets $U \in \mathbb{R}^{2+3}$ 與 $W \subset \mathbb{R}^3$ ,使得 點 $({\bf a,b}) = (0,1,3,2,7) \in U$ 且 $\bf b$ $=(3,2,7)$ $\in W$ 且下列條件滿足:
1. 對任意 $\bf y$ $\in W$,存在唯一 $\bf x$ 使得 \[\left( {{\bf{x}},{\bf{y}}} \right) \in U,\begin{array}{*{20}{c}}
{}&{}
\end{array}{\bf{f}}\left( {{\bf{x}},{\bf{y}}} \right) = {\bf{0}}
\]2. 若此 $\bf x$ $:= {{\bf g}({\bf y})}$  則 $\bf g$$:W \to \mathbb{R}^n$ 為 $C^1$ 映射 ,且 ${\bf{g}}\left( {\bf{b}} \right) = {\bf{a}} \Rightarrow {\bf{g}}\left( {3,2,7} \right) = \left( {0,1} \right)$ 且對任意 $\bf y$ $\in W$ ,${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$另外
\[{\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\]

簡言之,implicit function theorem 告訴我們存在 $C^1$ 映射函數 $\bf g$ 在 $\bf b$ $=(3,2,7)$ 鄰域有定義並且使得 ${\bf{g}}\left( {3,2,7} \right) = \left( {0,1} \right)$ 與 ${\bf{f}}\left( {{\bf{g}}\left( {\bf{y}} \right),{\bf{y}}} \right) = {\bf{0}}$且\[{\bf{g}}'\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}
\]故我們可計算 上式
\[\begin{array}{l}
{{\bf{g}}^\prime }\left( {\bf{b}} \right) =  - {\left( {{A_x}} \right)^{ - 1}}{A_y}\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - {\left[ {\begin{array}{*{20}{c}}
2&3\\
{ - 6}&1
\end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}}
1&{ - 4}&0\\
2&0&{ - 1}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - \frac{1}{{20}}\left[ {\begin{array}{*{20}{c}}
1&{ - 3}\\
6&2
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
1&{ - 4}&0\\
2&0&{ - 1}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} =  - \frac{1}{{20}}\left[ {\begin{array}{*{20}{c}}
{ - 5}&{ - 4}&3\\
{10}&{ - 24}&{ - 2}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\frac{1}{4}}&{\frac{1}{5}}&{ - \frac{3}{{20}}}\\
{ - \frac{1}{2}}&{\frac{3}{5}}&{\frac{1}{{10}}}
\end{array}} \right]
\end{array}\]上式可寫成在點 $(3,2,7)$ 偏導數
\[\begin{array}{l}
{D_1}{g_1} = \frac{1}{4},{D_2}{g_1} = \frac{1}{5},{D_3}{g_1} =  - \frac{3}{{20}}\\
{D_1}{g_2} =  - \frac{1}{2},{D_2}{g_2} = \frac{3}{5},{D_3}{g_2} = \frac{1}{{10}}
\end{array}\]


Example 2
考慮下列系統
\[\left\{ \begin{array}{l}
xu + y{v^2} = 0\\
x{v^3} + {y^2}{u^6} = 0
\end{array} \right.\]Q1 試問對於點 $(x,y,u,v) := (0,1,0,0)$ 附近鄰域而言,是否可將 $(x,y)$ 用 $(u,v)$ 表示?
Q2 試問對於點 $(x,y,u,v) := (1,-1,1,-1)$ 附近鄰域而言,是否可將 $(x,y)$ 用 $(u,v)$ 表示?

Solution 1:
定義 ${\bf{f}}: = \left( {{f_1},{f_2}} \right)$ 且
\[\left\{ {\begin{array}{*{20}{l}}
{{f_1}\left( {x,y,u,v} \right): = xu + y{v^2} = 0}\\
{{f_2}\left( {x,y,u,v} \right): = x{v^3} + {y^2}{u^6} = 0}
\end{array}} \right.\]要回答上述問題須借助 Implicit Function Theorem,首先注意到
\[\left\{ \begin{array}{l}
{\bf{f}}\left( {0,1,0,0} \right) = {\bf{0}}\\
{\bf{f}}\left( {1, - 1,1, - 1} \right) = {\bf{0}}
\end{array} \right.\]故若要使用 Implicit Function Theorem,我們需要檢驗
\[\begin{array}{l}
{\bf{f}}: = \left( {{f_1},{f_2}} \right)\\
 \Rightarrow {\bf{f}}'\left( {x,y,u,v} \right) = \left[ {\begin{array}{*{20}{c}}
u&{{v^2}}&x&{2yv}\\
{{v^3}}&{2y{u^6}}&{6{y^2}{u^5}}&{3x{v^2}}
\end{array}} \right]
\end{array}\]對於  $(x,y,u,v) := (0,1,0,0)$ 而言,可知
\[{\bf{f}}'\left( {0,1,0,0} \right) = \left[ {\begin{array}{*{20}{c}}
0&0&0&0\\
0&0&0&0
\end{array}} \right]\]此為 non-invertible。故 implicit function theorem 無法使用。 (注意到在此我們不可說 因為 $A_x$ non-invertible 故 $(x,y)$ 無法用 $(u,v)$ 表示!!  我們僅能說 implicit function theorem 無法使用,所以無法獲得任何結論。)

另一方面,對於點$(x,y,u,v) := (1,-1,1,-1)$ 而言,檢驗
\[{\bf{f}}'\left( {1, - 1,1, - 1} \right) = \left[ {\begin{array}{*{20}{c}}
1&1&1&2\\
{ - 1}&{ - 2}&6&3
\end{array}} \right]\]故若我們需要將 $(x,y)$ 用 $(u,v)$ 表示,則我們需要檢驗 $A_x$ 矩陣是否為 invertible 亦即去檢驗其 determinant 如下
\[{A_x} = \left[ {\begin{array}{*{20}{c}}
1&1\\
{ - 1}&{ - 2}
\end{array}} \right] \Rightarrow \det {A_x} =  - 2 + 1 =  - 1 \ne 0\]故 $A_x$ 為 invertible。也就是說可以 將 $(x,y)$ 用 $(u,v)$ 表示。

注意!! 讀者可自行檢驗在 $(x,y,u,v) := (1,-1,1,-1)$ 附近鄰域,$(u,v)$ 亦可表示成為 $(x,y)$的函數(why? 因為 $\det \left[ {\begin{array}{*{20}{c}}
1&2\\
6&3
\end{array}} \right] =  - 9 \ne 0$)

ref: W. Rudin, "Principle of Mathematical Analysis", 3rd

2012年11月21日 星期三

[系統理論] Fourier Transform and Laplace Transform

我們首先看看 雙邊形拉氏轉換 (Bilateral Laplace transform):
對訊號 $x(t)$ 我們定義 Bilateral Laplace transform :
\[
X(s) := \int_{-\infty}^{\infty} x(t) e^{-st} dt
\]且 $s = \sigma + j \omega$ 為 complex variable 。

注意到如果我們令 $\sigma =0$,亦即 $s = j \omega$ (purly imaginary), 則上式變為
\[
X(s)|_{s=j \omega} = X(j\omega ) = \int_{{-\infty }}^\infty  x (t){e^{ - j\omega t}}dt
\] 上式即為 Fourier Transform。

事實上, Laplace transform 亦與 Fourier transform 可以有更直接的關係,現在我們讓 $s$ 變回原本的 complex variable 形式: $s = \sigma + j \omega$ 並代回 Laplace transform 我們可得
\[\begin{array}{l}
{\left. {X\left( s \right)} \right|_{s = \sigma  + j\omega }} = X\left( {\sigma  + j\omega } \right) = \int_{ - \infty }^\infty  {x\left( t \right){e^{ - \left( {\sigma  + j\omega } \right)t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \int_{ - \infty }^\infty  {\left[ {x\left( t \right){e^{ - \sigma t}}} \right]{e^{ - j\omega t}}dt}
\end{array}\]我們可以觀察到上式為 $x(t) e^{\sigma t}$ 的 Fourier transform,亦即我們可以把 $x(t)$ 的 Laplace transform 視為 $x(t) e^{\sigma t}$ 的 Fourier transform。

Comments:
1. 我們在此並未給定 $\sigma $ 的正負,故 此 real expoential 訊號 $e^{-\sigma t}$ 可以隨 時間 $t$ 遞增或者遞減。

2. 回憶 Fourier transform 並對任意訊號都收斂 (需要滿足 Dirchlet conditons),故 對於前述將訊號 $x(t)$ 的 Laplace transform 視為 $x(t) e^{- \sigma t}$ 的 Fourier transform 的觀點亦必須考量收斂性,故我們引入一個收斂性的定義 :
收斂範圍 (Region of Convergence, ROC):是指 一個訊號 $x(t)$ 則其 $x(t) e^{-\sigma t}$ 的 Fourier Transform 收斂 (存在)的範圍。亦即使 $X(s)$ 積分收斂的範圍。

3. 若 $X(s)$ 的 ROC 不包含虛軸,Laplace transform 仍然存在,但 Fourier transform 不存在!!

現在我們看看下面的例子:

Example 1
考慮單邊 decaying exponential 訊號:
\[
x(t) = e^{-t}u(t)
\]是計算 其對應的 Fourier transform, Laplace transform 與 ROC。
Solution
Fourier transform:
\[\begin{array}{l}
X\left( {j\omega } \right) = \int_{ - \infty }^\infty  {{e^{ - t}}u(t){e^{ - j\omega t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \int_0^\infty  {{e^{ - t}}{e^{ - j\omega t}}dt} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{1 + j\omega }}
\end{array}
\]接著我們看 Laplace transform
\[\begin{array}{l}
X(s): = \int_{{0^ - }}^\infty  x (t){e^{ - st}}dt = \int_{{0^ - }}^\infty  {{e^{ - t}}u(t)} {e^{ - st}}dt\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \int_0^\infty  {{e^{ - t\left( {1 + s} \right)}}} dt = \frac{1}{{1 + s}}
\end{array}
\] ROC 為 $\{s: \cal{Re}\{s\} > -1 \}$ (有包含虛軸 $j \omega$ 故 Fourier transform 存在且 可用 $s= j \omega$ 帶入 Laplace transform 而得) $\square$

Example 2:
若現在改成 one-sided growing exponential:
\[
x(t) = e^tu(t)
\]試求 Laplace transform 與 ROC。
Solution
上式 Laplace transform 為
\[
X(s) = \frac{1}{s-1}
\]且 ROC 為 $\{s: \cal{Re}\{s\} >1 \}$ (但不包含虛軸 Fourier transform 不存在!!)。 $\square$



單邊型拉氏轉換 ( Unilateral Laplace transform)
現在我們看看 單邊型 Laplace transform:看看 Laplace transform 與 Fourier transform 差別
考慮一訊號 $x(t)$ , 定義 Unilateral Laplace transform 如下
\[
X(s) := \int_{0^-}^\infty x(t) e^{-st}dt
\] 現在將上式與 Fourier transform 定義做比較
\[
X(j \omega) := \int_{-\infty}^{\infty}x(t) e^{-j \omega t} dt
\]讀者可以發現上式非常相近,除了以下兩點差異
  1. Laplace transform 的積分範圍是在 $0 \le t < \infty$,且上式中 $(0^-)$表示考慮了在 $t=0$處的任意脈衝或者高階奇異函數(singular function);反之 Fourier Transform 積分範圍是 $-\infty < t < \infty$
  2. Laplace transform 積分式中的變數 $s$ 為 複數平面中的收斂區間 (Region of Convergence, ROC) 中的任意 complex number;亦即 $s = \sigma + j \omega $ 其中 $\sigma$ 為實部,$\omega$為虛部。反之, Fourier Transform: $j \omega$落在虛軸

Comments:
1. 考慮一訊號 $x(t) = 0, \forall t <0$ (亦即考慮訊號從時間 $t=0$ 開始,之前都不考慮),且其 Laplace transform, $X(s)$ 的 ROC 包含虛軸,則 Laplace Transform 與 Fourier Transform 仍相等
\[X(s) = X(j\omega )\]亦即 Fourier transform 為 Laplace transform 用 $s = j \omega$ 帶入。

2. 若 $X(s)$ ROC 不包含 虛軸,則 Fourier transform 不存在!! (但 Laplace transform仍存在於 其 ROC中)

3. 若訊號 $x(t) \neq 0, \forall t<0$,則 Fourier transform 不等於 Laplace transform。

現在我們看一個例子:
Example: Laplace Transform of Unit Step Signal 
考慮單位步階函數 $u(t)$ 定義如下
\[u\left( t \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}
\end{array}t > 0\\
0,\begin{array}{*{20}{c}}
{}
\end{array}t \le 0
\end{array} \right.\]試求其 Laplace transform 與 ROC。
Solution
由 Laplace transform 我們可得
\[
U(s) = \int_{0^-}^{\infty} u(t) e^{-st} dt = 1/s
\]這試圖告訴我們 Fourier transform "似乎" 就是 $U(j \omega) = \frac{1}{j \omega}$,但注意到 $U(s)$ 的收斂範圍 ROC 為 $\{\cal{Re}\{s\} >0\}$。不包含虛軸!! 故 Fourier Transform 並不存在!
或者我們換個角度檢視 $U(j \omega) = 1/ j \omega$,此結果在 $\omega =0$處無定義!。
 $\square$

Comments:
上述例子我們發現 Unit step signal 的 Fourier transform 有問題,儘管如此,我們仍可針對 Unit step function 定義合適的 Fourier transform。回憶 Fourier transform 的積分性質:
\[\int_{ - \infty }^t x (\tau )d\tau \mathop  \Leftrightarrow \limits^{\cal{F}} \frac{1}{{j\omega }}X(j\omega ) + \pi X(0)\delta (\omega )\]
由於 $u(t) = \int_{-\infty}^t \delta(\tau) d\tau$,故利用上式 積分性質 ( 其中 $X(j \omega) = \cal{F}\{\delta(t)\}=1$) 可得
\[\begin{array}{l}
U\left( {j\omega } \right) = \frac{1}{{j\omega }} \cdot 1 + \pi X(0)\delta (\omega )\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \frac{1}{{j\omega }} + \pi \delta (\omega )
\end{array}\]上式即為 Unit step function 的 Fourier transform。

ref: A.V. Oppenheim, A. S. Willsky, S. H. Nawab, Signals and Systems

2012年11月17日 星期六

[Note]板橋基督長老教會-主日學少年班課程講義

2012 Fall
111712-Lecture 2:真葡萄樹
參考經節: 約翰福音十五:1~10
講員: 謝宗翰
講義如附檔
120412-Lecture 3:天路指南
參考經節: 耶利米書二十三: 29 ;詩篇一一九: 72, 103, 105; 希伯來書四:12~13 ;雅各書一: 24~25  ;耶利米書十五: 16
講員: 謝宗翰
講義如附檔
參考經節: 馬可福音一:35-38; 馬可福音六:41-46 ; 路加福音六:12-13 ;路加福音五:16
講員: 謝宗翰
講義如附檔
.
==========================
相關閱讀
板橋基督長老教會-主日學中級班課程講義

相關連結
主日禮拜時間:
《台語禮拜》週日上午09:30~11:00
《國語禮拜》週日上午11:05~12:30
教會地址:台北縣板橋市明德街1巷3號
連絡電話:02-29687749
駐堂牧者:洪英俊 牧師

2012年11月13日 星期二

[分享] 淺談歸正神學

甚麼是歸正神學 (Reformed Theology)?
基督徒身在這個世代,應該能更清楚而明確的信仰,也就是 "應當更明白的知道深知我所信的這一位到底是誰? 因為經上記著 萬軍之耶和華吩咐:「你們務要認識我」  (何西阿書 6:3),筆者期盼能彼此勉勵,更加裝備自己,在遇到各種挑戰時候,能用神的道站穩腳步。

歸正神學 
歸正神學在堅決相信凡事應當 "以神為本" 而非 "以人為本",相信全本聖經都是上帝默示的,是神所啟示的。沒有任何錯誤。並且不斷的回歸聖經真道的神學。這種神學 與 部分當今主流神學 強調只相信聖經一部分,否定其餘經上教導,或者透過引入心理學/現代科學來解釋聖經,或者採用靈恩運動,高舉內在醫治,方言禱告的手法大相逕庭。


歸正神學的 真正要義 由  加爾文 (Jean Calvin) 提出五點要義:稱為TULIP(為鬱金香之義)。

1.全然敗壞(Total depravity)
人類由於 始祖亞當 的墮落而無法以自己的能力作任何靈性上的善事。

2.無條件的揀選(Unconditional election)
上帝對於罪人揀選是無條件的,祂 的揀選並非因為人在倫理道德上的優點,也非 祂 預見了人將發生的信心。也就是 揀選與救贖之功 全然在於上帝,人無法有所作為。

3.有限的代贖(Limited atonement)
基督釘十字架只是為那些預先蒙選之人,不是為世上所有的人。

4.不可抗拒的恩典(Irresistible grace)
人不可能拒絕 上帝 的救恩, 上帝 拯救人的恩典不可能因為人的原因而被阻撓,亦無法被人拒絕。

5.聖徒恆忍蒙保守(Perseverance of the saints)


參考資料[基督教小小羊園地]
http://blog.roodo.com/yml/archives/2635383.html

求主的道光照我們,指導我們分辨甚麼才是真理。因為
你們必曉得真理,真理必叫你們得以自由(約翰福音8:32)