2010年12月15日 星期三

[數學分析] 多變數函數的偏導數

令 $E\subset \mathbb{R}^n$ 為 open set。
考慮函數 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 。令 $\{{\bf e}_1,...,{\bf e}_n\}$ 與 $\{{\bf u}_1,...,{\bf u}_m\}$ 各為 $\mathbb{R}^n$ 與 $\mathbb{R}^m$ 的 standard bases。則我們可以將 $\bf f$ 以分量(components)形式 $f_i$ 表示:對任意 ${\bf x} \in E$,
\[
{\bf f}({\bf x}) := \sum_{i=1}^m f_i ({\bf x}){\bf u}_i =f_1 {\bf u}_1 + ... + f_m {\bf u}_m
\]或者${f_i}\left( {\bf{x}} \right) = {\bf{f}}\left( {\bf{x}} \right) \cdot {{\bf{u}}_i},i = 1,...,m$

對任意 ${\bf x} \in E $,$1 \le i \le m$ 且 $1 \le j \le n$ 我們可以定義 偏導數 (Partial Derivative)
\[\left( {{D_j}{f_i}} \right)\left( {\bf{x}} \right): = \mathop {\lim }\limits_{t \to 0} \frac{{{f_i}\left( {{\bf{x}} + t{{\bf{e}}_j}} \right) - {f_i}\left( {\bf{x}} \right)}}{t}\]若上述極限存在。

Comments:
1. 注意到 $f_i({\bf x}) = f_i(x_1,...,x_n)$ 故 $D_j f_i$ 表示了固定其餘變數,僅對 $f_i$ 中的 $x_j$ 求導:故我們記做
\[
D_jf_i ({\bf x}) := \frac{\partial f_i}{\partial x_j}
\]並且稱 $D_jf_i$ 為偏導數 (Partial Derivative)

2. 對任意多變數連續函數而言,儘管偏導數存在並不保證全導數存在:但反之則成立:亦即若 $\bf f$ 在點 $\bf x$ 上可微,則其在 $\bf x$處的偏導數存在:且偏導數完全決定了 linear transformation ${\bf f}'({\bf x})$

3. 同 2 偏導數存在不保證 連續。以下我們看個例子:

Example
若 $f(0,0)=(0,0)$ 且 若 $(x,y) \neq (0,0)$
\[
f(x,y) := \frac{xy}{x^2 + y^2}
\](a) 試證 $(D_1 f)(x,y)$ 與 $D_2 f (x,y) $ 在 $\mathbb{R}^2$ 中每一點皆存在。
(b) 試證 $f$ 在 $(0,0)$ 處並不連續。

Proof:
注意到 $f: \mathbb{R}^2 \to \mathbb{R}^1$ ;故我們可利用偏導數定義計算 $(D_1 f)(x,y)$ 與 $D_2 f (x,y) $:首先令 $(x,y) \neq (0,0)$可知
\[\begin{array}{l}
{D_1}f\left( {x,y} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h,y} \right) - f\left( {x,y} \right)}}{h}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \mathop {\lim }\limits_{h \to 0} \frac{{\frac{{\left( {x + h} \right)y}}{{{{\left( {x + h} \right)}^2} + {y^2}}} - \frac{{xy}}{{{x^2} + {y^2}}}}}{h}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \mathop {\lim }\limits_{h \to 0} \frac{{y\left[ {{y^2} - x\left( {x + h} \right)} \right]}}{{\left( {{{\left( {x + h} \right)}^2} + {y^2}} \right)\left( {{x^2} + {y^2}} \right)}} = \frac{{y\left( {{y^2} - {x^2}} \right)}}{{{{\left( {{x^2} + {y^2}} \right)}^2}}}
\end{array}\]同理,
\[{D_2}f\left( {x,y} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x,y + h} \right) - f\left( {x,y} \right)}}{h}{\rm{ = }}\frac{{x\left( {{y^2} - {x^2}} \right)}}{{{{\left( {{x^2} + {y^2}} \right)}^2}}}\]上述兩 偏導數 在 $\mathbb{R}^2 \setminus (0,0)$ 處皆存在。接著我們計算 $(x,y)=(0,0)$ 處的偏導數。
\[\left\{ \begin{array}{l}
{D_1}f\left( {0,0} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {0 + h,0} \right) - f\left( {0,0} \right)}}{h} = \mathop {\lim }\limits_{h \to 0} \frac{{0 - 0}}{h} = 0\\
{D_2}f\left( {0,0} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {0,0 + h} \right) - f\left( {0,0} \right)}}{h} = \mathop {\lim }\limits_{h \to 0} \frac{{0 - 0}}{h} = 0
\end{array} \right.\]

(b) 我們要證 $f$ 在 ${\bf 0} := (0,0)$ 處並不連續。亦即 對 ${\bf 0}$ 而言, 要證明 存在 $\varepsilon >0$ 使得對任意 $\delta >0 $ 存在 ${\bf x}:= (x,y) \neq 0$ 使得
\[
||{\bf x} - {\bf 0}|| < \delta \text{ but }\; |f({\bf x}) - f({\bf 0})| \ge \varepsilon
\] 取 $\varepsilon :=1$ 且 $\delta>0$ 與 ${\bf x}:= (x,y) = (\delta/2,\delta/2) \neq 0$ 則可知
\[{\rm{but |}}f({\bf{x}}) - f({\bf{0}})| = \left| {\frac{{\frac{\delta }{2}\frac{\delta }{2}}}{{{{\frac{\delta }{2}}^2} + {{\frac{\delta }{2}}^2}}} - 0} \right| = \left| {\frac{1}{2} - 0} \right| = \frac{1}{2} > \frac{1}{4} = \varepsilon \]


=============
Theorem 1:
考慮 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 且 $\bf f$ 在點 ${\bf x} \in E$處可導,則偏導數 $(D_jf_i)({\bf x})$ 存在且 偏導數完全決定了 ${\bf f}'({\bf x})$:亦即
\[{\bf{f}}'\left( {\bf{x}} \right){{\bf{e}}_j} = \sum\limits_{i = 1}^m {\left( {{D_j}{f_i}} \right)\left( {\bf{x}} \right){{\bf{u}}_i}} ,\begin{array}{*{20}{c}}
{}
\end{array}\left( {1 \le j \le n} \right)\]=============

Proof: omitted.

上述定理可以讓我們將 Linear operator ${\bf f}'({\bf x})$ 表達成矩陣的形式:
\[{\bf{f}}'\left( {\bf{x}} \right) = {\left[ {\begin{array}{*{20}{c}}
{{D_1}{f_1}}&{{D_2}{f_1}}& \cdots &{{D_n}{f_1}}\\
{{D_1}{f_2}}&{{D_2}{f_2}}& \cdots &{{D_n}{f_2}}\\
 \vdots &{}& \ddots & \vdots \\
{{D_1}{f_m}}&{}& \cdots &{{D_n}{f_m}}
\end{array}} \right]_{n \times m}}\]

現在我們看個重要的結果:
=============
Theorem 2: 假設 $\bf f$ 為 map 由 convex open set $E \subset \mathbb{R}^n \to \mathbb{R}^m$,且 $\bf f$ 在 $E$ 上可導,且存在 $M \in \mathbb{R}$ 使得 對任意 $\bf x$ $\in E$, 其 operator norm $||{\bf f}'({\bf x})|| \le M$ 則 對任意 $\bf a,b$ $\in E$,
\[||{\bf{f}}({\bf{b}}) - {\bf{f}}\left( {\bf{a}} \right)|| \le M||{\bf{b}} - {\bf{a}}||
\]=============

Proof:
我們要證明 $||{\bf{f}}({\bf{b}}) - {\bf{f}}\left( {\bf{a}} \right)|| \le M||{\bf{b}} - {\bf{a}}||$

注意到 $E$ 為 convex open set,故我們可利用 convexity 定義,現在對 任意點  $\bf x:=\gamma(t)$ $\in E$,與任意 $t \in [0,1]$ 可取
\[{\bf{x}}: =\gamma(t)= \left( {1 - t} \right){\bf{a}} + t{\bf{b}}\]現在若我們定義 ${\bf{g}}\left( t \right): = {\bf{f}}\left( {\gamma \left( t \right)} \right)$ 則由於 $\gamma$ 在 $(a,b)$ 可導(因為 $\gamma$ 為線性方程 ) 且 $\bf f$ 亦在  $(a,b)$ 可導(由假設可知) ;故可利用 Chain Rule \[\begin{array}{l}
{\bf{g}}'\left( t \right): = {\bf{f}}'\left( {\gamma \left( t \right)} \right)\gamma '\left( t \right) = {\bf{f}}'\left( {\gamma \left( t \right)} \right)\left( {{\bf{b}} - {\bf{a}}} \right)\\
 \Rightarrow \left\| {{\bf{g}}'\left( t \right)} \right\| \le \left\| {{\bf{f}}'\left( {\gamma \left( t \right)} \right)} \right\|\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\| \le M\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\|
\end{array}\]上式對 $t \in [0,1]$ 成立,故由 Mean Value Theorem 可知
\[\left\| {{\bf{g}}\left( 1 \right) - {\bf{g}}\left( 0 \right)} \right\| \le M\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\| \ \ \ \  (\star)
\]但注意到
\[{\bf{g}}\left( t \right): = {\bf{f}}\left( {\gamma \left( t \right)} \right) \Rightarrow \left\{ \begin{array}{l}
{\bf{g}}\left( 1 \right): = {\bf{f}}\left( {\gamma \left( 1 \right)} \right) = {\bf{f}}\left( {\bf{b}} \right)\\
{\bf{g}}\left( 0 \right): = {\bf{f}}\left( {\gamma \left( 0 \right)} \right) = {\bf{f}}\left( {\bf{a}} \right)
\end{array} \right.\]故 $(\star)$ 可改寫為 $\left\| {{\bf{f}}\left( {\bf{b}} \right) - {\bf{f}}\left( {\bf{a}} \right)} \right\| \le M\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\|$ $\ \ \ \ \ \square$

Corollary:
若 $\bf f'$ $({\bf x}) = \bf 0$ 對任意 $\bf x $ $\in E$,則 $\bf f$ 為常數。

Proof:
要證明 $M=0$ 即可。但注意到前述 Theorem 中對於 $M$ 假設亦包含 $0$ 故證畢。 


現在我們可以開始將導數 與 偏導數 之間性質做連結,注意到 如果一個 函數的 導數 存在且該導數連續,我們是否可以說其 偏導數存在 且 連續呢? 同樣的如果 偏導數存在 且 連續,可否說函數的導數存在且連續? 此答案記做下面的定理 Theorem 4

不過在給出 Theorem 4 之前,我們需要一些定義 何謂導數存在且導數連續:

===========
Definition: f is $C^1$ function
考慮函數 $\bf f$ $E \to \mathbb{R}^m$ 在 $E$ 上可導 且 $\bf f'$ $: E \to L(\mathbb{R^n},\mathbb{R}^m)$ 為連續函數,則我們說此函數 $\bf f$ $ \in C^1(E)$。

Definition: f' is continuous
我們稱 函數 $\bf  f'$ $: E \to L(\mathbb{R^n},\mathbb{R}^m)$  為連續函數 若下列條件成立:
對任意 $\bf x$ $\in E$,且任意 $\varepsilon >0$, 存在 $\delta >0$ 使得 對 $\bf y$ $\in E$,我們有
\[||{\bf{x}} - {\bf{y}}|| < \delta  \Rightarrow ||{\bf{f}'}\left( {\bf{x}} \right) - {\bf{f}'}\left( {\bf{y}} \right)|| < \varepsilon \]===========

Comments:
注意到 上述定義中 由於 $\bf x,y$ $\in E$,故其 norm 為定義在 $E$上的 norm ;但是 $\bf f'$ 為 linear operator 故其 norm $||{\bf{f}}\left( {\bf{x}} \right) - {\bf{f}}\left( {\bf{y}} \right)|{|_L} < $ 為 operator norm。亦即 \[||{\bf{f}'}\left( {\bf{x}} \right) - {\bf{f}'}\left( {\bf{y}} \right)|{|_L}: = \mathop {\sup }\limits_{{\bf{h}} = 1} ||{\bf{f}'}\left( {\bf{x}} \right){\bf{h}} - {\bf{f}'}\left( {\bf{y}} \right){\bf{h}}||\]


現在我們可以給出 Theorem 4:偏導數存在 且 連續,若且唯若 函數的導數存在且連續

Theorem 4:
若 $\bf f$ $:E \subset{\mathbb{R}^n} \to \mathbb{R}^m$,則 $\bf f$ $\in C^1(E)$ 若且唯若 其偏導數 $D_j f_i({\bf x})$ 存在 且連續。

Proof: omitted

[數學分析] 淺論 Arzela-Ascoli Theorem

這次要介紹一個好用的定理:稱作 Arzela-Ascoli Theorem ,此定理提供了何時可以說某 函數所構成的集合 為 totally bounded 的 充分必要條件

========================
Theorem: Arzela-Ascoli Theorem
令 $K$ 為 compact ,考慮 collection of functions $\mathcal{F} \subset C(K)$ 為 totally bounded 若且唯若
    1. $\mathcal{F}$ 為 point-wise bounded
        ( $ \forall x$,$\exists M(x)$ 使得對任意 $f(x) \in \mathcal{F}$, $|f(x)| \le M(x)$)
    2.  $\mathcal{F}$ 為 equicontinuous。
         $(\; \forall \varepsilon>0$,$\exists \delta>0$ 使得對任意 $x,z \in K$,
$$|x-z| < \delta \Rightarrow |f(x) - f(z)| < \varepsilon, \;\;\;\;\; \forall f \in \mathcal{F}\;)$$

========================

Comment: 
判斷 Equicontinuouity 的方法除了前述定義法之外,還可用 uniform convergence sequence 定義;亦即 有兩種 判斷 Equicontinuouity 的方法:
1. 由定義
2. 若 $K$ 為 compact metric space 且對任意 $n \in \mathbb{N}$,$f_n \in C(K)$ 且 $\{f_n\}$ converges uniformly on $K$ 則 $\{f_n\}$ 為 equicontinuous on $K$。

=============
Corollary: 一個 closed $\mathcal{F} \subset C(K)$ 為 compact 若且為若 $\mathcal{F}$ 為 pointwise-bounded 與 equicontinuous。
=============
Proof: omitted (immediate from Arzela-Ascoli Theorem)


現在我們看個例子:

Example
考慮 $T \in C([0,1])$ 且定義為
\[T[f](x): = \int_0^x f (t)dt
\]考慮任意有界集合 $A \subset C([0,1])$,我們可定義 $B:= \{Tf: f \in A\}$ ,試利用 Arzela-Ascoli Theorem 證明其  closure $\bar B$ 為 compact。

Proof:
要證明其  $B$ 為 compact。故我們需要證明其為 totally bounded + complete。首先注意到 $B \subset C([0,1])$ 為 complete (因為 $\bar B$ 為 closed,且 $C([0,1])$ 為 complete space,故 complete space 中的 closed subset 必為 complete   )。故我們僅須證明 $B$ 為 totally bounded :由 Arzela-Ascoli Theorem 可知我們須證明     1. $B$ 為 point-wise bounded ;2.  $B$ 為 equicontinuous。

首先證明 $B$ 為 point-wise bounded:
給定任意 $x \in [0,1]$ 我們需要證明 存在 $M(x)$ 使得對任意 $Tf \in B$ $|Tf(x)| \le M(x)$ ;觀察
\[\left| {T[f](x)} \right|: = \left| {\int_0^x f (t)dt} \right| \le \left\| f \right\|1: = M\]

接著我們證明 $B$ 為 equicontinuous。給定 $\varepsilon>0$ 要證明 $\delta>0$ 使得對任意 $f,g\in A$,$||f-g|| < \delta \Rightarrow ||Tf - Tg| |< \varepsilon, \;\;\;\;\; \forall T \in \mathcal{B}\;)$
\[\begin{array}{l}
\left\| {T[f] - T[g]} \right\| = \sup \left| {\int_0^x {f(t)} dt - \int_0^x {g(t)} dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sup \left| {\int_0^x {f(t) - g\left( t \right)} dt} \right| \le \left\| {f - g} \right\|
\end{array}\]若我們選 $\delta:=\varepsilon/(2||f-g||) $ 則可證得
\[\left\| {T[f] - T[g]} \right\| \le \left\| {f - g} \right\| < \delta  = \frac{\varepsilon }{2} < \varepsilon \]故總結以上,由 Arzela-Ascoli 可知 $B$ 為 totally bounded 且 complte (由最先前的推導) 故由 compact 等價定義可知 $B$ 為 compact。

[數學分析] 淺論收縮寫像定理-Contraction Principle

這次要介紹 收縮寫像定理 (Contraction Principle) 此為分析學中非常強大的工具。最大的應用是用來證明 微分方程 ODE 的解存在性與唯一性。我們在此將簡介此定理,介紹之前我們先介紹甚麼叫做 contraction ?


=============================
Definition: Contraction
令 $(X,d)$ 為 metric space。
我們說一個函數 $\Phi: X \to X$ 為 contraction 若下列條件成立:
存在常數 $c$ 滿足 $0 \le c <1$ 且 $$d(\Phi(x), \Phi(y)) \le c \cdot d(x,y)
$$
=============================

Comments: 
1. 注意到我們要求常數 $c <1$ !! (不可等於 $1$)
2. 上述定義中的 $d(\cdot, \cdot)$ 為 $X$ 上 metric 。


現在我們看一些例子讓我們熟悉上述的定義

Example 1: 考慮 $\mathbb{R}$ 且裝備標準 metric 作為 metric space。試判斷 $f: \mathbb{R} \to \mathbb{R}$ 且
\[
f(x) := x+1
\]是否為 contraction?

Proof:
為了要判斷 $f$ 是否為 contraction,我們直接檢驗其 metric:
\[\begin{array}{l}
d\left( {f\left( x \right),f\left( y \right)} \right): = \left| {f\left( x \right) - f\left( y \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {x + 1 - \left( {y + 1} \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 \cdot \left| {x - y} \right|
\end{array}\]注意到 上式中 $c:=1$ 不滿足 contraction 定義。故此函數 $f$ 不為 contraction。$\square$

Example 2: 考慮 $g: I \to I$ 其中 $I:=[0,a], \; a\in \mathbb{R}$且
\[
g(x) := x^2
\]試找出 $a$ 參數使得 $g$ 為 contraction。

Proof:
我們檢驗 metric :
\[\begin{array}{l}
d\left( {g\left( x \right),g\left( y \right)} \right): = \left| {g\left( x \right) - g\left( y \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {{x^2} - {y^2}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {x + y} \right|\left| {x - y} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \left| a \right|\left| {x - y} \right|
\end{array}\]可看出 $c:= |a|$ ,若我們希望 $g$ 為 contraction 則選 $|a| < 1$即可。 $\square$



如果一個函數為 contraction 有甚麼用呢?? 用處是可以幫我們不斷的 "收縮" 函數 最終收到某個 不動點 (fixed point)。 不過該如何辦到這件事? 我們要先引入 函數的 n-th iteration 。

=============================
Definition: n-th iteration of a function
我們稱 $f^n(a)$ 為函數 $f$ 在 $a$ 點的 n-th iteration 定義為
\[{f^n}(a): = \underbrace {f \circ f \circ ...f(a)}_{n{\rm{ - }}times}
\]=============================


利用上述定義我們可以建構 sequence $\{a_n\}$ 且 $a_n := f^n(a)$

現在回頭看前面兩個例子,

--------------------------
Example 1 (continued)
回憶 Example 1 中的 $f(x) = x+1$;令 $x:=a=0$ 試問 若讓 $n \rightarrow \infty$,函數 sequence $\{a_n\} = \{f^n(0)\}$ 的極限為何?
--------------------------
Proof:
我們首先觀察 $f$ 的 n-th iteration:
\[\left\{ \begin{array}{l}
f\left( x \right) = x + 1\\
{f^2}\left( x \right) = f\left( {f\left( x \right)} \right) = f\left( x \right) + 1 = x + 2\\
{f^3}\left( x \right) = {f^2}\left( {f\left( x \right)} \right) = f\left( x \right) + 2 = x + 3\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} \vdots \\
{f^n}\left( x \right) = x + n
\end{array} \right.\]故若 $a=0$ 我們得到
\[
f^n(0) = n
\]現在讓 $n \rightarrow \infty $,可推得 $f^n(0) \to \infty$

--------------------------
Example 2 (continued)
回憶 Example 2 中的 $g(x) = x^2$;令 $|a|<1$ 試問 若讓 $n \rightarrow \infty$,函數 sequence $\{a_n\} = \{g^n(0)\}$ 的極限為何?
--------------------------
Proof:
觀察 $g$ 的 n-th iteration
\[\left\{ \begin{array}{l} g\left( x \right) = {x^2}\\ {g^2}\left( x \right) = g\left( {g\left( x \right)} \right) = {x^4}\\ \begin{array}{*{20}{c}} {}&{} \end{array} \vdots \\ {g^n}\left( x \right) = {x^{2n}} \end{array} \right.
\]故若 $|a|<1$ 讓 $n \to \infty$ 我們可得 $g^n(a) \to 0$。因此 $g^n(0) =0$。


==========================
Theorem: 收縮寫像定理 Contraction Principle
若 $(X,d)$ 為 complete metric space 且 $\Phi$ 為 contraction on $X$,則
$\Phi$ 有 唯一 不動點 $x^*$ (unique fixed point);亦即 存在 $x^* \in X$ 使得 $\Phi(x^*) = x^*$
==========================
Proof: omitted.

Comments:
1. 收縮寫像定理要求  1. completeness 2. 要有 contraction $\Phi :X \to X$。
2. 注意到 若條件為 $X$ compact 則 contraction principle 亦為成立 (因為 compact = totally bounded + complete)


現在看幾個 contraction principle 的應用:

==========================
Corollary: 令 $\Phi : X \to X$ 為 contraction 且 $X$ 為 complete。若 $\Phi^N$ 為 N-th iterate of $\Phi$ 且 $\Phi^N$ 仍為 contraction,則 $\Phi$ 具有 唯一的固定點。亦即 存在 $x^*$ 使得 $\Phi(x^*) = x^*$ 
==========================

Proof:
我們要證明 存在 $x^*$ 使得 $\Phi(x^*) = x^*$ 

由於 $\Phi^N$ 為 contraction,由 contraction principle 可知 $\Phi^N$ 有 唯一 不動點,我們記做 $\bar x$,亦即
\[{\Phi ^N}\left( {{\bar x}} \right) = {\bar x} \ \ \ \ (*)
\]如果我們在跌代一次  可得\[
{\Phi ^N}\left( {\Phi \left( {{\bar x}} \right)} \right) = \Phi \left( {{ \bar x}} \right)  \ \ \ \ (\star)
\] 觀察 $(*)$ 與 $(\star)$ 可知若我們令 $x^* := \Phi(\bar x)$ 即為其唯一的不動點。$\square$



Example 3: 考慮 $T \in C([0,1])$ 定義如下:
\[
T[f](x) := \int_0^x f(t) dt
\]試證 $T$ 有 唯一固定點。

Proof:
注意到 $C([0,1])$ 為 complete space,故我們只須證明 $T[f](x) := \int_0^x f(t) dt $ 為 contraction。回憶 $C([0,1])$ 上的 metric 為 supnorm 故現在觀察
\[\begin{array}{l} \left\| {T[f] - T[g]} \right\| = \mathop {\sup }\limits_x \left| {T[f](x) - T[g](x)} \right|\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{} \end{array} = \left| {\int_0^x f (t)dt - \int_0^x g (t)dt} \right|\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{} \end{array} = \left| {\int_0^x {f(t) - g(t)} dt} \right| \le \int_0^x {\left| {f(t) - g(t)} \right|} dt \le \left\| {f - g} \right\|x \end{array}
\] 故選 $c:=x$ 滿足 $0\le x<1$ 即可說 $T$ 為有唯一固定點。利用 contraction principle 可知其具備唯一固定點。 


Example 4
令 $K$ 為 compact metric space 且其中至少包含兩相異點,現在令 $\Phi : K \to K$ 為 contraction。試證 $\Phi$ 並非 onto。

Proof:
令 $K$ 為 compact metric space 且其中至少包含兩相異點,要證明  $\Phi$ 並非 onto;亦即 存在 $x^* \in K$ 使得 $\forall x \in K$,$\Phi(x) \neq \Phi(x^*)$。
首先 注意到由於 $K$ 為 compact  且 $\Phi : K \to K$ 為 contraction,由 contraction principle 可知存在唯一固定點 $x^*$ 使得 $\Phi(x^*) = x^*$,由於此固定點為唯一 且 $K$ 至少有兩相異點,此暗示了對任意  $ x \in K$,$\Phi(x) \neq \Phi(x^*)$。


[機率論] 特性函數(1) - Properties

給定隨機變數 $X$,我們可以定義其對應的特性函數 (characteristic function) 如下: \[
\phi_X(t):= E [e^{itX}]
\]
Comment: 
1. 特性函數可視為 Fourier Transform。
2. 特性函數只與 $X$ 的 distribution 有關。
3. 特性函數滿足下列關係:$\phi(0)=1 $ 且
\[\left| {{\phi _X}(t)} \right| = \left| {E[{e^{itX}}]} \right| \le E\left[ {\left| {{e^{itX}}} \right|} \right] \le 1\]
4. 特性函數為 uniformly continuous on $\mathbb{R}$。亦即
對任意  $t \in \mathbb{R}$,我們有
\[\begin{array}{l}
\left| {\phi \left( {t + h} \right) - \phi \left( t \right)} \right| = \left| {E{e^{i\left( {t + h} \right)X}} - E{e^{i\left( t \right)X}}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {E\left[ {{e^{i\left( t \right)X}}\left( {{e^{i\left( h \right)X}} - 1} \right)} \right]} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le E\left[ {\left| {{e^{i\left( t \right)X}}\left( {{e^{i\left( h \right)X}} - 1} \right)} \right|} \right] \to 0 \;\;  \text{as  $\; h \downarrow 0$}
\end{array}\]上述極限成立因為 Dominated Convergence Theorem。
5. 若對任意 $t \in \mathbb{R}$ n-th moment 皆存在 則
\[{\phi _X}\left( t \right) = E{e^{itX}} = \sum\limits_{k = 0}^\infty  {\frac{{E\left[ {{{\left( {itX} \right)}^k}} \right]}}{{k!}}} \]
且若 $E|X|^n <\infty$ 我們亦可對其 Taylor Expansion around $t=0$ 亦即
\[{\phi _X}\left( t \right) = \sum\limits_{k = 0}^n {\frac{{E\left[ {{{\left( {itX} \right)}^k}} \right]}}{{k!}}}  + o\left( {{t^n}} \right)\]

Example: 若給定 隨機變數 $X,Y$ 且 $X,Y$ 彼此互為獨立,現在定義 $Z:=X+Y$,試求其 特性函數 $\phi_{Z}(t) =?$

由特性函數定義:
\[\begin{array}{l}
{\phi _Z}(t) = E\left[ {{e^{itZ}}} \right] = E\left[ {{e^{it\left( {X + Y} \right)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{e^{it\left( X \right)}}{e^{it\left( Y \right)}}} \right]
\end{array}\]由於 $X$ 與 $Y$ 互為獨立,故
\[{\phi _Z}(t) = E\left[ {{e^{it\left( X \right)}}{e^{it\left( Y \right)}}} \right] = E\left[ {{e^{it\left( X \right)}}} \right]E\left[ {{e^{it\left( Y \right)}}} \right] = {\phi _X}(t){\phi _Y}(t)\]

Example: 現在考慮 隨機變數 sequence $\{X_i\}$ 為 i.i.d. ,現在定義 $S_n:=X_1+X_2+...+X_n$,試求其 特性函數 $\phi_{S_n}(t) =?$
Solution
\[\begin{array}{l}
{\phi _{{S_n}}}(t) = E\left[ {{e^{it{S_n}}}} \right] = E\left[ {{e^{it\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{e^{it\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right]

\end{array}\]由於 $\{X_i\}$ 為 i.i.d.,故其具有共同的 distribution,又 特性函數完全由 distribution 決定,故可知 $\phi_{X_1} = \phi_{X_2} = ... \phi_{X_n} := \phi$
\[{\phi _{{S_n}}}(t) = E\left[ {{e^{it\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right] = \prod\limits_{i = 1}^n {\underbrace {E\left[ {{e^{it\left( {{X_i}} \right)}}} \right]}_{ = \phi (t)}}  = {\left( {\phi (t)} \right)^n}\]

Example: 同上題,考慮 隨機變數 sequence $\{X_i\}$ 為 i.i.d. ,並定義 $S_n:=X_1+X_2+...+X_n$,試求其 特性函數 $\phi_{S_n/n}(t) =?$

Solution
\[\begin{array}{l}
{\phi _{{S_n}/n}}(t) = E\left[ {{e^{it\frac{{{S_n}}}{n}}}} \right] = E\left[ {{e^{it\left( {\frac{{{X_1} + {X_2} + ... + {X_n}}}{n}} \right)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{e^{i\frac{t}{n}\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right]
\end{array}\]由於 $\{X_i\}$ 為 i.i.d.,故其具有共同的 distribution,又 特性函數完全由 distribution 決定,故可知 $\phi_{X_1} = \phi_{X_2} = ... \phi_{X_n} := \phi$:
\[{\phi _{{S_n}/n}}(t) = E\left[ {{e^{i\frac{t}{n}\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right] = \prod\limits_{i = 1}^n {\underbrace {E\left[ {{e^{i\frac{t}{n}\left( {{X_i}} \right)}}} \right]}_{ = \phi (\frac{t}{n})}}  = {\left( {\phi (\frac{t}{n})} \right)^n}\]

FACT:
若 $E|X|^2 < \infty$,則 $\varphi(t) = 1 + it EX - t^2 \frac{E[(itX)^2]}{2}+o(t^2)$

Proof:
事實上,由 先前的 comment 5 可知
\[{\phi _X}\left( t \right) = 1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}} + o\left( {{t^2}} \right) + H.O.T.\]但我們僅有假設 $E|X|^2 < \infty$ 故高階項不保證有界。

但所幸我們仍有以下不等式
\[E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \le E\left[ {\min \left\{ {{{\left| {tX} \right|}^3},2{{\left| {tX} \right|}^2}} \right\}} \right]\]且我們可進一步確認其具有上界為
\[E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \le E\left[ {\min \left\{ {{{\left| {tX} \right|}^3},2{{\left| {tX} \right|}^2}} \right\}} \right] \le E\left[ {{{\left| {tX} \right|}^2}} \right]\]故由 Dominated Convergence Theorem 可知
\[\begin{array}{l}
E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \le E\left[ {\min \left\{ {{{\left| {tX} \right|}^3},2{{\left| {tX} \right|}^2}} \right\}} \right] \le E\left[ {{{\left| {tX} \right|}^2}} \right]\\
 \Rightarrow E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \to 0
\end{array}\]

2010年12月13日 星期一

[數學分析] 函數的 不連續性

令函數 $f: X \to Y$ 且 $x \in X$ 為其 domain 中一點 使得 $f$ 在該點不連續。則我們稱 函數$f$ 在此點 $x$ 不連續 ($f$ is discontinuous at $x$)。 比如說,我們看下圖,可發現該函數在 $x_0$ 處不連續 (函數圖形在 $x_0$點發生不連續, but 左右極限相等)

https://zh.wikipedia.org/wiki/%E4%B8%8D%E8%BF%9E%E7%BB%AD%E7%82%B9#mediaviewer/File:Discontinuity_removable.eps.png


一般而言如果 $f$ 是透過 "分段"定義,都會有不連續問題存在。不過在此之前我們需要一些先導觀念幫助我們:亦即所謂的 左極限 (left-limits of $f$ at $x$, $f(x-)$) 與 右極限 (right-limits of $f$ at $x$, $f(x+)$)

===================
Definition: Right-Limit 
令 $f$ 定義在 $(a,b)$ 上 ,考慮任意點 $x$ 使得 $a \le x < b$,我們說 $f$在 $x$ 點處 右極限存在 (記做 $f(x+) = q$ ) 若下列條件成立:
對任意 sequence $\{t_n\} \subset (x,b)$ 使得 $t_n \to x$ ,$f(t_n) \to q$ 當 $n \to \infty$

Definition: Left-Limit
令 $f$ 定義在 $(a,b)$ 上,考慮任意點 $x$ 使得 $a < x \le b$,我們可寫  $f$在 $x$點左極限 存在 (記做 $f(x-) = q$ ) 若下列條件成立:
對任意 sequence $\{t_n\} \subset (a,x)$ 使得 $t_n \to x$ ,$f(t_n) \to q$ 當 $n \to \infty$
===================

Comments:
一般而言,常見的寫法還有
\[\left\{ \begin{array}{l}
f(x + ) = \mathop {\lim }\limits_{t \searrow x} f\left( t \right) = \mathop {\lim }\limits_{t \to {x^ + }} f\left( t \right)\\
f(x - ) = \mathop {\lim }\limits_{t \nearrow x} f\left( t \right) = \mathop {\lim }\limits_{t \to {x^ - }} f\left( t \right)
\end{array} \right.\]

===================
FACT:
對任意 $ x \in (a,b)$, $\lim_{t \to x} f(t)$ 存在 若且為若
\[
f(x+ ) = f(x - ) = \lim_{t \to x} f(t)
\]===================
Proof: omitted.

Comment:
1. 上述 FACT 只保證 左右極限 相等 等價 極限存在,但並沒有 "任何" 對於 連續性的推論!! 簡而言之,某函數的極限在某點存在 (or 左右極限在某點存在且相等) 不保證 函數在該點連續!!。

2. [直覺] 連續函數可以容忍函數被某些點被 折,但不允許 折!! 如果一旦發生折斷即為不連續函數。



有了以上左右極限的觀念,我們可以開始討論 不連續性質:

===================
Definition: Classification of Discontinuity
令函數 $f$ 定義在 $(a,b)$ 上,若 $f$ 在點 $x$ 處不連續 且 若 $f(x+)$ 與 $f(x-)$ 存在,則我們稱 $f$ 為 simple discontinuity at $x$。(或稱 $f$ 有 discontinuity of the first kind。)
其餘的不連續則統稱為 discontinuity of the second kind
===================

Comments:
簡潔判斷 discontinuity of the first kind 的方法:檢驗其是否 左右極限存在


以下我們看幾個例子:

Example 1: First Kind Discontinuous Function
定義
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x\begin{array}{*{20}{c}}
{}
\end{array}rational} \right)\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x\begin{array}{*{20}{c}}
{}
\end{array}irrational} \right)
\end{array} \right.\]試證明 $f$ 為 discontinuity of the second kind

Proof:
讀者應可判斷此函數 $f$ 已為不連續函數,剩下的只需判斷是 first kind 或者 second kind。 故選任意點 $x$,注意到對任意點而言,$f(x+)$ 與 $f(x-)$ 皆不存在!(會在 $0,1$ 之間震盪) 故不滿足 first kind 不連續性,我們可推知其必為 discontinuity of the second kind。$\square$

Example 2: First Kind Discontinuous Function
考慮
\[f\left( x \right): = \left\{ \begin{array}{l}
x + 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( { - 3 < x <  - 2} \right)\\
 - x - 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( { - 2 \le x < 0} \right)\\
x + 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {0 \le x < 1} \right)
\end{array} \right.\]則如果我們繪製出函數圖形可看出

直覺檢驗 (NOT PROOF):可發現函數在 $x=0$處 發稱間斷! (不連續在此點產生);另外此函數在 $x \in (-3,1)$ 處均為連續函數 (因為此函數只有被折但沒有發生 "折斷"。)$\square$


Example 3: Second Kind Discontinuous Function
\[f\left( x \right): = \left\{ \begin{array}{l}
\sin \left( {\frac{1}{x}} \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x \ne 0} \right)\\
0,\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array}\left( {x = 0} \right)
\end{array} \right.\]
則如果我們繪製出函數圖形可看出

可以發現在 $x=0$ 處,圖形劇烈震盪。若我們檢驗其 $f(x+)$ 與 $f(x-)$ 可知其皆不存在。故函數在 $x=0$處為 second kind discontinuous,但 除了 $x=0$以外其餘點皆連續 (因為 $ \sin (\cdot)$ 函數為連續函數)。$\square$

我們現在將不連續
以下我們看個結果:

Theorem:
令 $f$ 為 $(a,b)$ 上 實數單調遞增函數 (monotonically increasing on $(a,b)$),則對任意 $x \in (a,b)$ 其左右極限 $f(x+)$ 與 $f(x-)$ 存在。亦即
\[\mathop {\sup }\limits_{a < t < x} f\left( t \right) = f\left( {x - } \right) \le f\left( x \right) \le f\left( {x + } \right) = \mathop {\inf }\limits_{x < t < b} f\left( t \right)\]且若 $a < x < y < b$ 則
\[
f(x+) \le f(y-)
\]
Proof: omitted. see Rudin. Mathematical Analysis 3rd, Chapter 4.


Theorem: 令 $f$ 為 $(a,b)$ 上 實數單調遞增函數 (monotonically increasing on $(a,b)$),則 $f$ 在 $(a,b)$ 中的不連續點 個數最多僅有 countably many。

Proof:
令 $f$ 為 $(a,b)$ 上 遞增函數 (increasing on $(a,b)$)且定義集合 $E$ 為所有 $(a,b)$區間上的點使 $f$ 不連續 所形成的集合
\[E: = \left\{ {x \in \left( {a,b} \right):f\begin{array}{*{20}{c}}
{}
\end{array}{\rm{is}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{discontinuous}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{at}}\begin{array}{*{20}{c}}
{}
\end{array}x} \right\}\]由 (前述 Theorem )可知 $f$ 為 $(a,b)$ 上 遞增函數 (increasing on $(a,b)$),則對任意 $x \in (a,b)$ 其左右極限 $f(x+)$ 與 $f(x-)$ 存在 且下列關係成立
\[f\left( {x - } \right) \le f\left( y \right) \le f\left( {x + } \right)\]

現在對任意 $x \in E$,由於 $f(x) $ 為實數函數,利用 實數稠密性質,我們可指派 有理數 $ r(x) $ 使得
\[f\left( {x - } \right) \le r\left( x \right) \le f\left( {x + } \right) \ \ \ \ (*)
\]利用遞增性質 可知 $x_1< x_2 \Rightarrow f(x_1) < f(x_2)$ 故再利用前述 Theorem 可知
\[\begin{array}{l}
{x_1} < {x_2} \Rightarrow f({x_1}) < f({x_2})\\
 \Rightarrow f({x_1} + ) \le f({x_2} - ) \ \ \ \ (**)
\end{array}\] 現在比較 $(*)$ 與 $(**)$ 可推知
\[{x_1} \ne {x_2} \Rightarrow r\left( {{x_1}} \right) \ne r\left( {{x_2}} \right)\]上式表示我們建構了 集合 $E$ 與 $\mathbb{Q}$ 之間為 one-to-one (by definition)。故可知 $E$中 不連續點 最多 countably many 個。 $\square$

2010年12月12日 星期日

[數學分析] 淺論多變數函數的全導數

首先回憶 單變數 函數的導數定義

若 $f : (a,b) \subset \mathbb{R} \to \mathbb{R}$ 為 實數函數 若 $x \in (a,b)$ 則其 導數
\[
f'(x) := \lim_{h \to 0}\frac{f(x+h) - f(x)}{h}
\]

上述的單變數函數導數雖然直覺,但是若我們想要拓展到多變數情況的時候便會面臨一些問題,比如說上述導數定義需要除以 $h $ 但如果我們現在考慮 多變數 的時候此時分母 $h$ 會變成向量 $\bf h$ 此時我們該怎麼處理 "除以一個向量" 這類的問題。

想法如下:取 norm $||\cdot||$ 將向量變回單變數。

==================
Definition: Differentiable at point ${\bf x}$
我們稱函數 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ ($E$ 為 open) 為在 ${\bf x} \in \mathbb{R}^n$ 可微,若下列條件成立:
存在 Linear Transformation $L \in \mathcal{L}(\mathbb{R}^n, \mathbb{R}^m)$ 使得
\[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\]且我們稱 ${\bf f}$ 為在  ${\bf x} \in \mathbb{R}^n$ 可微且記做 ${\bf{f}}'\left( {\bf{x}} \right) = L$
==================

==================
Definition: Differentiable on an open set $E$
若 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 且 $E$ open,則我們說 ${\bf{f}}$ 在 differentiable on $E$ 若 對任意 ${\bf{x}} \in E$,${\bf{f}}$ 都在 ${\bf{x}}$ 上可微。
==================

Comments:
1. 若 $\bf f$ 為在 open set $E$ 上 可導,則我們視為 ${\bf f}' : E \to L(\mathbb{R}^n, \mathbb{R}^m)$

2. 前述定義中線性算子 $L  ={\bf f}'({\bf x})$ 通常又記做 $D_{\bf x} {\bf f}$ ;我們稱此算子為 total derivative 或者 differential at point $\bf x$


現在我們看幾個例子:
-----
Example 1. What is the Derivative of a Linear Operator?
令 ${\bf f}: \mathbb{R}^n \to \mathbb{R}^m$ 且 ${\bf f}({\bf x}) = A{\bf x}$,其中 $A$ 為 Linear operator (事實上 $A$ 為 $m \times n$ 的矩陣)。試問 ${\bf f}'({\bf x}) =?$
-----
Solution:
由定義可知我們需要
\[\mathop {\lim }\limits_{{\bf{h}} \to {\bf{0}}} \frac{{\left\| {{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right) - {\bf{f}}'\left( {\bf{x}} \right){\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0\]故現在觀察
\[{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right) = A\left( {{\bf{x}} + {\bf{h}}} \right) - A\left( {\bf{x}} \right) = A{\bf{h}}\]可以發現若選 ${\bf{f}}'\left( {\bf{x}} \right) = A$ 即為所求。$\square$

-----
Example 2. 
令 ${\bf f}: \mathbb{R}^1 \to \mathbb{R}^n$ 且 \[{\bf{f}}({t}) = \left[ {\begin{array}{*{20}{c}}
1&t&{{t^2}}& \cdots &{{t^{n - 1}}}
\end{array}} \right]^T
\]試問 ${\bf f}'({\bf 0}) \in L(\mathbb{R}, \mathbb{R}^n)$ 為何?
-----
Solution:
注意到 ${\bf f}: \mathbb{R}^1 \to \mathbb{R}^n$,故由導數定義可知我們希望下式成立:
\[\mathop {\lim }\limits_{h \to 0} \frac{{\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\|}}{{\left\| h \right\|}} = 0\]注意到 $\bf f$ 為 $n \times 1$ 的向量,故
\[\begin{array}{*{20}{l}}
{{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) = {{\left[ {\begin{array}{*{20}{c}}
1&h&{{h^2}}& \cdots &{{h^{n - 1}}}
\end{array}} \right]}^T} - {{\left[ {\begin{array}{*{20}{c}}
1&0&0& \cdots &0
\end{array}} \right]}^T}}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = {{\left[ {\begin{array}{*{20}{c}}
0&h&{{h^2}}& \cdots &{{h^{n - 1}}}
\end{array}} \right]}^T}\;\;\;\;(*)}
\end{array}\]我們的目的是要找到 ${\bf f'}({\bf 0}) $ 使得
\[\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\| = 0\]故我們可將待求的導數寫做 ${\bf f'}({\bf 0}) := L = [l_1\;\;l_2\;\;...\;\; l_n]^T$ 其中 $l_1, l_2,...,l_n$ 為待定係數。則
\[\small{{\bf{f}}^\prime }\left( {\bf{0}} \right){\bf{h}} = {\left[ {\begin{array}{*{20}{c}}
{{l_1}}&{{l_2}}&{{l_3}}& \cdots &{{l_n}}
\end{array}} \right]^T}h = \left[ {\begin{array}{*{20}{c}}
{{l_1}h}\\
{{l_2}h}\\
 \vdots \\
{{l_n}h}
\end{array}} \right]\;\;\;\;({ \star })\]現在我們計算 (利用 FACT: 若 $A$ 為 linear operator,則 $||A {\bf x}|| \le ||A|| ||{\bf x}||$)
\[\begin{array}{l}
\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\| = \left\| {\left[ {\begin{array}{*{20}{c}}
0\\
h\\
{{h^2}}\\
 \vdots \\
{{h^{n - 1}}}
\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}
{{l_1}h}\\
{{l_2}h}\\
{{l_3}h}\\
 \vdots \\
{{l_n}h}
\end{array}} \right]} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} =\left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}h}\\
{h - {l_2}h}\\
{{h^2} - {l_3}h}\\
 \vdots \\
{{h^{n - 1}} - {l_n}h}
\end{array}} \right]} \right\| \le \left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}}\\
{{\rm{1}} - {l_2}}\\
{h - {l_3}}\\
 \vdots \\
{{h^{n - {\rm{2}}}} - {l_n}}
\end{array}} \right]} \right\|\left\| h \right\|
\end{array}
\]故選 $l_2 = 1$ 其餘 $l_i = 0, \;\; \forall i =1,..,n $ 則我們可得
\[\small \mathop {\lim }\limits_{h \to 0} \frac{{\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\|}}{{\left\| h \right\|}} \le \mathop {\lim }\limits_{h \to 0} \frac{{\left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}}\\
{{\rm{1}} - {l_2}}\\
{h - {l_3}}\\
 \vdots \\
{{h^{n - {\rm{2}}}} - {l_n}}
\end{array}} \right]} \right\|\left\| h \right\|}}{{\left\| h \right\|}}{\rm{ = }}\mathop {\lim }\limits_{h \to 0} \left\| {\left[ {\begin{array}{*{20}{c}}
{\rm{0}}\\
{\rm{0}}\\
h\\
 \vdots \\
{{h^{n - {\rm{2}}}}}
\end{array}} \right]} \right\|{\rm{ = 0}}
\]故 ${\bf{f}}'\left( 0 \right){\rm{ = }}{\left[ {\begin{array}{*{20}{c}}
{\rm{0}}&{\rm{1}}&{\rm{0}}& \cdots &{\rm{0}}
\end{array}} \right]^T}$ $\square$


Exercise:
令 函數 $\Phi: C([0,1]) \to C([0,1])$,且
\[
\Phi(f) := \int_0^x f(t) dt
\]試求其 total derivative $D_f \Phi =?$


讀者也許會認為 上述導數存在並不保證為唯一,但事實上 導數確實具備 uniqueness ,現在我們可以著手處理 uniqueness 問題。
==============
Theorem: ${\bf{f}}:E \subset \mathbb{R}^n \to \mathbb{R}^m$,$E$ 為 open,且假設 ${\bf f}$ 滿足  \[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\] 且 $L=A_1$, $L= A_2$ 則 $A_1 = A_2$
==============
Proof:
我們要證明 $A_1 = A_2$,故 令 $B:= A_1 - A_2$ 只要證明 $B=0$即可 (注意! 此處 $0$ 表示 zero-operator ,故要證明對任意 ${\bf h} \in \mathbb{R}^n$,$B {\bf h} = 0$)。現在觀察
\[\begin{array}{l}
\left\| {B{\bf{h}}} \right\| = \left\| {\left( {{A_1} - {A_2}} \right){\bf{h}}} \right\| = \left\| {{A_1}{\bf{h}} - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left\| {{A_1}{\bf{h}} - \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] + \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{A_1}{\bf{h}} - \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right]} \right\| + \left\| {\left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_1}{\bf{h}}} \right\| + \left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_2}{\bf{h}}} \right\|
\end{array}\]故可推知
\[\small \mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {B{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} \le \underbrace {\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_1}{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}}}_{ = 0} + \underbrace {\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_2}{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}}}_{ = 0} = 0
\]故 $B$ 為 linear transformation,且注意到 對任意 ${\bf h} \neq {\bf 0}$ 我們有
\[
\frac{||B(t {\bf h})||}{||t {\bf h}||} \to 0 \text{ as $t \to 0$}
\]上述可推知對任意 ${\bf h} \in \mathbb{R}^n$, $B {\bf h} = 0$ 故 $B = 0$。 $\square$

2010年12月11日 星期六

[微積分] 隱函數

現在考慮 單變數函數 $f(x)$,則我們可以將函數可以寫成如下形式:
$$y = f(x)
$$比如說 $y = \sqrt{x^2+1}$ 或者 $y=x \sin (x)$

但有時我們也會遇到一些函數比如說
\[
x^2 + y^2 = 25\;\; \text{ or }\;\; x^3+ y^3 = 6xy
\] 觀察上述兩個例子,讀者可發現函數的關係被隱藏在上述等式之中,或者說上述等式利用 變數 "$x,y$ 之間關係 來定義,我們將此類函數稱作 隱函數implicit function ),一般記做 $F(x,y) = 0$ (此時 $y$ 被隱藏在一個 $F(x,y)$之中)
\[\left\{ \begin{array}{l}
{x^2} + {y^2} = 25 \Rightarrow \underbrace {{x^2} + {y^2} - 25}_{: = F\left( {x,y} \right)} = 0\\
{x^3} + {y^3} = 6xy \Rightarrow \underbrace {{x^3} + {y^3} - 6xy}_{: = G\left( {x,y} \right)} = 0
\end{array} \right.
\]那麼我們的問題很顯然的是,是否可以把上述 隱函數 $F(x,y)=0$ 轉換回原本的 $y = f(x)$?

答案是:只有在一些特定情況才可以求解隱函數 並透過將 $y$ 表示成 $x$ ,那麼這些所謂的特定情況是什麼? 這個問題將留待 之後我們介紹 隱含數定理的時候才會介紹。這邊只是先給出一些較為直覺的想法:

以下我們看個例子:

Example
考慮隱含數 $F(x,y) = x^2 + y^2 = 25$,試將其改寫回 $y=f(x)$ 的形式。

Solution
\[\begin{array}{l}
F\left( {x,y} \right) = 0\\
 \Rightarrow {x^2} + {y^2} - 25 = 0\\
 \Rightarrow y =  \pm \sqrt {25 - {x^2}}
\end{array}\]且此時 $y := f(x)$ 且我們可繪製如下圖


Exercise
試仿照前例,考慮隱含數 $x^3+ y^3 = 6xy$ 試將其改寫回 $y = f(x)$ 的形式

2010年12月1日 星期三

[微積分] 雙變數函數的極限

以下討論均考慮 雙變數情況
============
Definition: Limit of function with two variables
令 $f :D \subset  \mathbb{R}^2 \to \mathbb{R}$ 且 點 $(a,b) \in D$,則我們說 $f(x,y)$ 在點 $ (a,b)$ 的 Limit  $L$ 記做 $f(x,y) \to L$ as $(x,y) \to (a,b)$ 或者
\[
\lim_{(x,y) \to (a,b)}f(x,y) =L
\]若下列條件成立:
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $(x,y) \in D$,
\[
\sqrt{(x-a)^2+(y-b)^2} < \delta \Rightarrow |f(x,y) - L| < \varepsilon
\]============

Comments:
事實上上述定義可直接推廣到 $n$ 變數的情況,但為免以下分析過於複雜我們在此僅討論雙變數的情況。以下我們看個例子。


Example
試證 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在 且 其極限值為 $0$。

Proof:
要證明   $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在,由定義出發:給定  $\varepsilon >0$,要證明 存在 $\delta >0$ 使得 對任意 $(x,y) \in \mathbb{R}^2$,
\[
\sqrt{(x-0)^2+(y-0)^2} < \delta \Rightarrow |f(x,y) - 0| < \varepsilon
\]
首先觀察
\[|f(x,y) - 0| = |\frac{{3{x^2}y}}{{{x^2} + {y^2}}}| = \frac{{3{x^2}\left| y \right|}}{{{x^2} + {y^2}}} \le 3\left| y \right| = 3\sqrt {{y^2}}  \le 3\sqrt {{y^2} + {x^2}}
\]故若我們取 $\delta := \varepsilon/3 >0$ 則對任意 $(x,y) \in \mathbb{R}$,我們可得
\[\sqrt {{{(x - 0)}^2} + {{(y - 0)}^2}}  < \delta  \Rightarrow |f(x,y) - 0| \le 3\underbrace {\sqrt {{y^2} + {x^2}} }_{ < \delta  = \varepsilon /3} < 3\left( {\frac{\varepsilon }{3}} \right) < \varepsilon \]故 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2} =0$ $\square$


Comment:
在單變數函數的情況中,我們知道極限存在 等價 左右極限相等 (從左方逼近 = 右方逼近),但是如果情況推廣到雙變數,則情況將不再這麼單純,所謂的極限存在必須對 "任意" 的逼近方向其極限都必須相等。


============
FACT:
若 $f(x,y) \to L_1 \text{ as } (x,y) \to (a,b)$ 沿著某路徑 $C_1$ 逼近 且 $f(x,y) \to L_2 \text{ as } (x,y) \to (a,b)$  沿著某路徑 $C_2$ 逼近 且 $L_1 \neq L_2$ 則 $\lim_{(x,y) \to (a,b)}f(x,y) =L$ 不存在。
============


Example:
考慮 $\displaystyle \lim_{(x,y) \to (0,0)} \frac{x^2-y^2}{x^2 + y^2}$ ,試問其極限是否存在?

Solution
令 \[
f(x,y):=\frac{x^2-y^2}{x^2 + y^2}
\]首先考慮沿著 $x$ 軸 逼近 $(0,0)$ 的情況:
由於我們沿著 $x$ 軸,故此時 $y=0$ 我們可先計算
\[f(x,0): = \frac{{{x^2}}}{{{x^2}}} = 1,\;\; \forall x \neq 0 \]故我們可知
\[
f(x,y) \to 1 \; \text{ as }\;(x,y) \to (0,0) \;\; \text{ along x-axis}
\]
接著我們考慮沿著 $y$ 軸 逼近 $(0,0)$ 的情況
同理,由於我們沿著 $y$ 軸,故此時 $x=0$ 我們可先計算
\[f(0,y): = \frac{{ - {y^2}}}{{{y^2}}} =  - 1,\;\; \forall y \neq 0\]故我們可知
\[
f(x,y) \to -1\; \text{ as }\; (x,y) \to (0,0)\;\; \text{ along y-axis}
\]注意到此時沿著路徑 $y$ 軸的極限 不等於 沿著 $x$ 軸的極限,故我們說 $\lim_{(x,y) \to (a,b)} \frac{x^2-y^2}{x^2 + y^2}$  不存在 (by FACT)。$\square$


Comment: 注意到,上述例子也許會給出一個錯誤的印象:認為只要檢驗兩軸即可。但若讀者回憶我們前面討論的內容即可發現,對於雙變數函數的情況,極限存在的條件是對 "任意"方向逼近都必須要正確 (任意方向泛指除了單軸逼近,任意直線逼近,任意線段逼近都要正確!!);現在我們看個例子


Example 2
考慮 $f(x,y) = \frac{xy}{x^2 + y^2}$ 試問極限 $\displaystyle \lim_{(x,y) \to (0,0)} f(x,y)$ 是否存在?

Solution
考慮 $y:=mx$ 且 $m$ 為任意斜率;則此為過 $(0,0)$ 的任意斜直線,我們可用此方程幫助我們檢驗沿著任意直線方向逼近 $(0,0)$ 的極限是否相等 (NOTE: 除了沿著 $y$ 軸逼近 $(0,0)$ 之外 (why? 因為垂直線段斜率沒有定義!) )  :

且看
\[f(x,mx) = \frac{{xy}}{{{x^2} + {y^2}}} = \frac{{x\left( {mx} \right)}}{{{x^2} + {{\left( {mx} \right)}^2}}} = \frac{{m{x^2}}}{{{x^2} + {m^2}{x^2}}} = \frac{m}{{1 + {m^2}}},\forall x \ne 0\]亦即
\[\mathop {\lim }\limits_{(x,y) \to (0,0)} f(x,y) = \frac{m}{{1 + {m^2}}}
\]上式顯示了若改變 $m$ 值 (由不同斜線逼近 $(0,0)$),則 $f(x,y)$ 會得到不同的極限,故 $\displaystyle \lim_{(x,y) \to (0,0)} f(x,y)$ 不存在 (by FACT)。$\square$

EXERCISE: 讀者可嘗試重做上述題目但此次改成用 $x = my$ 檢驗。


Comment: Again! 上述例子也許會給出一個錯誤的印象:認為只要檢驗任意直線方向逼近即可。但若讀者回憶我們前面討論的內容即可發現,對於雙變數函數的情況,極限存在的條件是對 "任意"方向逼近都必須要正確 (任意方向泛指任意 "線段" (不只有直線) 逼近都要正確!!);現在我們看個例子


Example 3
考慮 $f(x,y)=\frac{xy^2}{x^2 + y ^4}$ 試問其在 $(0,0)$ 處極限是否存在

Solution:
直接考慮 $y=mx$ (檢驗沿著任意方向斜直線逼近 $(0,0)$)
\[f(x,mx) = \frac{{x{{\left( {mx} \right)}^2}}}{{{x^2} + {{\left( {mx} \right)}^4}}} = \frac{{x{m^2}{x^2}}}{{{x^2} + {m^4}{x^4}}} = \frac{{x{m^2}}}{{1 + {m^4}{x^2}}},\forall x \ne 0\]故
\[f(x,mx) = \frac{{x{m^2}}}{{1 + {m^4}{x^2}}} \to 0 \text{ as } \; (x,y) \to (0,0)\]儘管我們得到了一致的極限,這並不代表極限存在,我們必須再度檢驗其他情況:

現在試著用 $y:=x^2$ (檢驗沿著二次曲線逼近 $(0,0)$):
\[f(x,{x^2}) = \frac{{x{{\left( {{x^2}} \right)}^2}}}{{{x^2} + {{\left( {{x^2}} \right)}^4}}} = \frac{{x{x^2}}}{{1 + {x^2}{x^2}{x^2}}} \to 0 \; \text{ as } \; (x,y) \to (0,0)
\]與 $x:=y^2$,但此時
\[f({y^2},y) = \frac{{{y^2}{y^2}}}{{{{\left( {{y^2}} \right)}^2} + {y^4}}} = \frac{1}{2}\]若取極限沿著 $x=y^2$ 亦為 $1/2 \neq 0$ 故  $f(x,y)=\frac{xy^2}{x^2 + y ^4}$ 在 $(0,0)$ 處極限不存在!! (by FACT) $\square$



2010年11月21日 星期日

[分享] 控制理論領域的主要會議與期刊

控制理論的三大會議:

  • IEEE Conference on Decision and Control, CDC
    • 每年的12月舉辦,截稿日多在當年三月底
  • IEEE American Control Conference, ACC
    • 每年的五月中下旬舉辦,截稿日多在前一年七月
  • IFAC World Congress, IFAC WC
    • 由國際自動控制聯盟 (IFAC) 舉辦的大會,每三年召開一次,一般在10月底截稿,隔年七月舉辦


上述 IEEE CDC 與 IEEE ACC 會議由 IEEE Control Systems Society 的投稿內容可以在擴增修訂後續投其母期刊 IEEE Transactions on Automatic Control。另外 IFAC WC 會議的投稿內容可以在擴增修訂後續內容後投稿到 Automatica


另外還有幾個也非常不錯的控制理論相關的會議

  • European Control Conference, ECC 
    • 由 European Control Association (EUCA) 主辦,每兩年一次。
  • Annual Allerton Conference on Communication, Control, and Computing
    • 每年七月截稿,當年度九月舉辦。


機器人相關領域的主要會議,由 IEEE Robotics and Automation Society 主辦

  • IEEE International Conference on Robotics and Automation, ICRA
  • IEEE International Conference on Automation Science and Engineering, CASE
  • IEEE/RSJ International Conference on Intelligent Robots and Systems, IROS




2010年11月16日 星期二

[微積分] Little-oh 的性質 與 其對應的 函數可導定義

======================
Definition: $f$ is Little-Oh of $x$
我們說 當 $x \to 0$ 時, $f(x) = o (x)$ 若下列條件成立:
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 使得
\[ |x - 0| < \delta \Rightarrow \frac{f(x)}{|x|} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x} \frac{f(x)}{|x|} = 0$
======================

上述定義可進一步推廣如下:

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時, $f(x) = o (g(x))$ 若下列條件成立:
對任意 $\varepsilon>0$ 存在 $\delta > 0$ 與 正數 $c>0$ 使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================

以下我們先看個定理,此定理描述了 $o(x)$ 的一些常用性質:

======================
Theorem:
令 $f, g : I \to \mathbb{R}$ 為兩函數 且 $0 \in I$。若 $f(x) = o(x)$ 且 $g(x) =o(x)$ 則下列三個性質成立
\[\begin{array}{l}
1. \; f\left( x \right) + g\left( x \right) = o\left( x \right)\\
2. \; \alpha f\left( x \right) = o\left( x \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\forall \alpha  \in \mathbb{R}\\
3. \; f\left( x \right)g\left( x \right) = o\left( x \right)
\end{array}\]======================

Proof: (1)
觀察
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right)
\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故
\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]因此
\[\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right) + g\left( x \right)}}{{\left| x \right|}}} \right) = \mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}} + \frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0 + 0 = 0\]亦即
\[
 f(x) + g(x) = o(x)
\]

Proof: (2)
給定任意 $\alpha \in \mathbb{R}$,觀察
\[\mathop {\lim }\limits_{x \to 0} \frac{{\alpha f\left( x \right)}}{{\left| x \right|}} = \alpha \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)}}{{\left| x \right|}} = 0\]亦即
\[
\alpha f(x) = o(x)
\]
Proof: (3)
觀察
\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|\left| x \right|}}\left| x \right| = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right)\]由於 $f(x) = o(x)$ 且 $g(x) =o (x)$ 故
\[\begin{array}{l}
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right) = 0;\\
\mathop {\lim }\limits_{x \to 0} \left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right) = 0
\end{array}\]且 $\lim_{x \to 0}|x| =0$因此
\[\mathop {\lim }\limits_{x \to 0} \frac{{f\left( x \right)g\left( x \right)}}{{\left| x \right|}} = \mathop {\lim }\limits_{x \to 0} \left( {\left( {\frac{{f\left( x \right)}}{{\left| x \right|}}} \right)\left( {\frac{{g\left( x \right)}}{{\left| x \right|}}} \right)\left| x \right|} \right) = 0 \cdot 0 \cdot 0 = 0\]

Comment:
上述證明 $(3)$ 亦可採用以下性質來證明:
FACT: 若 $f: I \to \mathbb{R}$ 為函數 且 $0 \in I$,若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$
讀者可自行嘗試。

以下定理將 little oh 與 函數可微 的定義做連結。

======================
Theorem:
考慮 $f: I \to \mathbb{R}$,則下列敘述等價
\[
1.\;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right)}}{h} = f'\left( x \right)\]
\[
2. \;\mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{h} = 0
\]
\[
3.  \; \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h}}{{\left| h \right|}} = 0
\]
\[
4.  \; f\left( {x + h} \right) - f\left( x \right) - f'\left( x \right)h = o\left( h \right)
\]
\[
5. \; f\left( {x + h} \right) - f\left( x \right) = f'\left( x \right)h + o\left( h \right)
\]======================


Comment:
上述定理中的 1. 為標準的可導定義,表示 割線極限存在。

現在我們可以引入另一種 函數可導 的定義,此定義在某種意義上扮演承先啟後的角色,因為透過此定義將可允許我們把單變數函數可導的定義推廣到多變數函數之上。現在我們將原本割線極限 的定義改寫成以下定義:


======================
Definition: 令 $f: I \to \mathbb{R}$ 為函數,我們說 $f$ 在點 $x$ 可導若下列條件成立:若存在唯一常數,記作 $f'(x)$,使得
\[
f(x+h) - f(x) = f'(x) h + o(h)
\] 成立
======================


Comments: 
1. 上述導數唯一的結果來自極限值的唯一性質。
2. 讀者也許感到疑惑明明我們對於函數可導的定義已經透過割線極限來定義,為何還要再重新定一個新的定義?因為上述定義將允許我們將原本單變數 $f$ 推廣到 多變數函數。

[數學分析] Fourier Series 的 L^2 收斂 與 Parseval's Theorem

首先回憶一些 Fourier Series 重要的結果

FACT: 任意週期為 $2 \pi$ 之連續函數 $f$ 必存在一組 trigonometric polynomial $P:=\sum\limits_{ - N}^N {{c_n}{e^{inx}}} $ 使得 對任意 $x \in \mathbb{R}$ 而言,
\[
|P(x) - f(x)| < \varepsilon
\]

但是上述定理無法告訴我們何時週期函數可以被表示成 Fourier Series,故下面的定理尤為重要,通常用此定理判斷某週期函數是否可以表示成 Fourier Series (Pointwise sense)。

================
Theorem 0: Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言, 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

接著我們介紹另一個相對於 逐點收斂的重要的結果,稱作 L^2 收斂,亦即 Fourier Series 在 convergence in L^2。

================
Theorem 1: Fourier Series Converges in L^2
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數,且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\mathop {\lim }\limits_{N \to \infty } \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( {f;x} \right)} \right|}^2}} dx = \mathop {\lim }\limits_{N \to \infty } \left\| {f - {S_N}} \right\|_2^2 = 0\]其中 ${S_N}\left( {f;x} \right): = \sum\limits_{ - N}^N {{c_n}{e^{inx}}} $
================
Proof:
令 $\varepsilon >0$,目標要證明 $||f - S_N(f)||_2 < \varepsilon $。由於 $f$ 為週期 $2 \pi$ 之 週期連續函數,由 FACT 可知必存在一組 trigonometric polynomial $P $ 使得 對任意 $x \in \mathbb{R}$ 而言,
\[
|P(x) - f(x)| < \varepsilon \Rightarrow ||P - f||_2 < \varepsilon
\]若 $P$ 有階數為 $N_0$ 階,則由於 $S_N(f) $ 為最佳近似 $f$ (請參閱先前BLOG文章 或者 Rudin Theorem8.11) ,對 $N \ge N_0$,
\[
||f - S_N(f)||_2 \le ||f - P||_2 < \varepsilon \ \ \ \ \square
\]


我們有以下的 Parseval's identity:

=================
Theorem 2: Parseval's Theorem
假設 $f, g$ 為 週期 $2 \pi$ 之 週期連續函數,且
\[
f(x) \sim \sum_{-\infty}^\infty c_n e^{inx}; \;\; g(x) \sim \sum_{-\infty}^\infty \gamma_n e^{inx}
\] 則
\[\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){g^*}\left( x \right)} dx = \sum\limits_{ - \infty }^\infty  {{c_n}\gamma _n^*} \]=================

Proof:
首先觀察
\[\begin{array}{l} \frac{1}{{2\pi }}\int_{ - \pi }^\pi {{S_N}\left( f \right){g^*}\left( x \right)} dx = \frac{1}{{2\pi }}\int_{ - \pi }^\pi {\sum\limits_{ - N}^N {{c_n}} {e^{inx}}{g^*}\left( x \right)} dx\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{}&{}&{} \end{array} = \frac{1}{{2\pi }}\sum\limits_{ - N}^N {{c_n}} \underbrace {\int_{ - \pi }^\pi {{e^{inx}}{g^*}\left( x \right)} dx}_{ = \gamma _n^*2\pi } = \sum\limits_{ - N}^N {{c_n}} \gamma _n^* \end{array}
\]接著我們檢驗
\[\begin{array}{l}
\left| {\int_{ - \pi }^\pi  {f\left( x \right){g^*}\left( x \right)} dx - \int_{ - \pi }^\pi  {{S_N}\left( f \right){g^*}\left( x \right)} dx} \right| = \left| {\int_{ - \pi }^\pi  {\left[ {f\left( x \right) - {S_N}\left( f \right)} \right]{g^*}\left( x \right)} dx} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le \int_{ - \pi }^\pi  {\left| {\left[ {f\left( x \right) - {S_N}\left( f \right)} \right]{g^*}\left( x \right)} \right|} dx\\
{\rm{by}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{Schwarz}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{inequality}}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} \le {\left( {\int_{ - \pi }^\pi  {{{\left| {f\left( x \right) - {S_N}\left( f \right)} \right|}^2}} dx \cdot \int_{ - \pi }^\pi  {{{\left| {{g^*}\left( x \right)} \right|}^2}} dx} \right)^{\frac{1}{2}}} \to 0
\end{array}\]當 $N \rightarrow \infty$。注意到上式收斂成立是因為我們 $\int |g|^2$ 有界 且 $\int |f - S_N| \rightarrow 0$ 當 $N \rightarrow \infty$ (由前面的 Theorem 1) $\square$

Comment:
一般而言,Parseval's Thoerem 泛指下式:令 前述 Parseval's Theorem $g(x) := f(x)$,則
\[\begin{array}{l}
\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){f^*}\left( x \right)} dx = \sum\limits_{n =  - \infty }^\infty  {{c_n}c_n^*} \\
 \Rightarrow \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right)} \right|}^2}} dx = \sum\limits_{n =  - \infty }^\infty  {{{\left| {{c_n}} \right|}^2}}
\end{array}\]


現在我們看個例子 說明 Parseval Theorem 怎麼使用。

Example:Application of the Parseval Theorem/ Pointwise Convergence Theorem
假設 $0 < \delta < \pi$,
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left| x \right| < \delta \\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\delta  < \left| x \right| \le \pi
\end{array} \right.\]且對任意 $x \in \mathbb{R}$, $f(x+2 \pi) = f(x)$
(a) 試求 Fourier Series Coefficient
(b) 試證 $\sum\limits_{n = 1}^\infty  {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}}  = \frac{{\pi  - \delta }}{2}$

Solution
在求解之前我們先確認 $f(x)$ 具有 Fourier Series,首先注意到 $f$ 為週期函數 (週期為 $2 \pi$) 接著我們檢驗其是否滿足我們的 逐點收斂 (Theorem 0) 條件:
給定 $x =0$ ,我們取題目中給定的 $\delta >0$ 檢驗對任意 $t \in (-\delta, \delta)$ ,觀察
\[\begin{array}{l}
\left| {f\left( {x + t} \right) - f\left( x \right)} \right| = \left| {f\left( t \right) - f\left( 0 \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {1 - 1} \right| = 0 \le M\left| t \right|
\end{array}\]故我們知道其滿足 Theorem 0,亦即 $f$ 有 Fourier Series 且 $f(x) = \sum_{-\infty}^\infty c_n e^{inx}$ 現在我們可以開始解題:
(a) 首先針對 $c_0$ 可知
\[{c_0}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1dx}  = \frac{\delta }{\pi }\]
另外對 $n \neq 0$
\[\begin{array}{l}
{c_n}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){e^{inx}}dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1{e^{inx}}dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{n\pi }}\frac{{{e^{in\delta }} - {e^{ - in\delta }}}}{{2i}} = \frac{1}{{n\pi }}\sin \left( {n\delta } \right)
\end{array}\]注意到上述結果暗示了
\[f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \]
(b) 我們要證明  $\sum\limits_{n = 1}^\infty  {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}}  = \frac{{\pi  - \delta }}{2}$ 注意到 part (a) 求出的 Fourier Series coefficient 的平方 出現在等號左方,暗示了我們可使用 Parserval's Theorem 亦即
\[\begin{array}{l}
\sum\limits_{n =  - \infty }^\infty  {{c_n}^2}  = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {{{\left| {f\left( x \right)} \right|}^2}} dx\\
 \Rightarrow {c_0}^2 + 2\sum\limits_{n = 1}^\infty  {{c_n}^2}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  1 dx\\
 \Rightarrow {\left( {\frac{\delta }{\pi }} \right)^2} + 2\sum\limits_{n = 1}^\infty  {{{\left( {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \right)}^2}}  = \frac{\delta }{\pi }\\
 \Rightarrow \sum\limits_{n = 1}^\infty  {\left( {\frac{{{{\sin }^2}\left( {n\delta } \right)}}{{{n^2}\delta }}} \right)}  = \frac{{\pi  - \delta }}{2}
\end{array}\]

2010年11月15日 星期一

[微積分] Little-oh 與 Big-oh 符號

======================
Definition: $f$ is Big-Oh of $g$
令 $f, g$ 為任意函數在 $x = x_0$ 附近可定義。我們說 當 $x \to x_0$ 時, $f(x) = O(g(x))$) 若下列條件成立:
存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |g(x)|
\]======================

======================
Definition: $f$ is Little-Oh of $g$
我們說 當 $x \to x_0$ 時, $f(x) = o (g(x))$ 若下列條件成立:
對任意 $\varepsilon>0$ 存在 $\delta > 0$  使得
\[ |x - x_0| < \delta \Rightarrow \frac{f(x)}{g(x)} < \varepsilon \]亦即上述等價為 $\displaystyle \lim_{x \to x_0} \frac{f(x)}{g(x)} = 0$
======================


Comments:
1. $o(g(x))$ (要求收斂) 條件比 $O(g(x))$ (僅要求有界) 條件強烈。

2. 我們說某函數 $f$ 在 $x_0$ 處連續亦可以用此 little-oh 符號表達:
\[
f(x) - f(x_0) = o(1) \text{ as $ x \to x_0$}
\]
3. 一般而言,上述定義中的 函數 $g(x)$ 多半考慮為較 $f(x)$ 簡單的函數以用作比較函數 decay or growth rate ;以下我們看幾個例子

Example 1: 選 $g :=1$ 且考慮當 $x \to x_0$ 時,
(a) $f(x) = O(g(x) )= O(1)$ 試解釋其意義:
(b) $f(x) = o(g(x)) = o(1)$ 試解釋其意義:

Solution:
(a) 當 $x \to x_0$ 時,$f(x) = O(g(x) = O(1)$ 由定義可知:存在 $\delta >0$ 與 正數 $c>0$ 使得\[
|x - x_0| < \delta  \Rightarrow |f(x)| \le c |1|
\]亦即 $|f(x)|$ 在 $x= x_0$ 附近有界 (在此例中此界為 $c$)

(b) 當 $x \to x_0$ 時,$f(x) = o(g(x)) = o(1)$ 由定義可知:
\[\mathop {\lim }\limits_{x \to {x_0}} \frac{{f(x)}}{{g(x)}} = \mathop {\lim }\limits_{x \to {x_0}} f(x) = 0\]


Example 2
試證明 若 $f(x) = o(x)$ 則 $\lim_{x \to 0} f(x) = 0$

Proof:
觀察
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x \;\;\;\;\; (**)
\]接著由於 $f(x) = o(x)$ 由定義可知
\[\mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{{\left| x \right|}} = 0\]且又知道
\[
\lim_{x \to 0} x =0
\]故 $(**)$ 由極限四則運算關係可得
\[\mathop {\lim }\limits_{x \to 0} f(x) = \mathop {\lim }\limits_{x \to 0} \frac{{f(x)}}{x} \cdot x = 0\]

Example 3
考慮下列數列
$$z_n:= t + o(t/n)n$$ 其中 $o(\cdot)$ 為 little-oh;試求 $\lim_{n\to \infty} z_n =?$

Solution:
我們要計算
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + o\left( {\frac{t}{n}} \right)n} \right)\]
現在考慮任意 sequence $a_n \in o(t/n)$, 則由 little-oh 定義可知
\[\mathop {\lim }\limits_{n \to \infty } \frac{{{a_n}}}{{\frac{t}{n}}} = 0 \Rightarrow \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t} = 0 \]
故現在令 $z_n:= t + n a_n$ 則
\[\mathop {\lim }\limits_{n \to \infty } {z_n} = \mathop {\lim }\limits_{n \to \infty } \left( {t + n{a_n}} \right) = \mathop {\lim }\limits_{n \to \infty } t\left( {1 + \frac{{n{a_n}}}{t}} \right) = t\left( {1 + \mathop {\lim }\limits_{n \to \infty } \frac{{n{a_n}}}{t}} \right) = t\]

2010年10月28日 星期四

[回憶] 那段在板橋教會開心的日子

最近,我偶爾回憶以前過往的時光,特別是在國小的時候,那段在教會開心的日子



板橋基督長老教會一景

那個時候,每周六差不多下午一點左右,剛吃飽飯就會歡天喜地衝去教會,等著四點的(啟龍哥)的直笛課,在上課之前的這段時間,我總跟三五死黨(義人、達人、俊智、偉文) 玩在一起

那時,我們這群小蘿蔔頭可以玩的東西可多了。光一顆躲避球就玩得昏天暗地,一下子是 報數球,一下子是 正規躲避球 雖然每次玩躲避球就會砸到(壞!?)停在路邊的車子,如果沒帶球也澆不熄這群小鬼頭們的熱情,我們就玩捉迷藏、四處探險、紅綠燈鬼抓人、賽跑、等等。那時教會對面有棟大樓,小時候看總是覺得髒髒的,老以為是間鬼屋,有一次終於鼓起勇氣,我們一群人闖了進去。想看看爬到頂樓會出現甚麼鬼怪,結果電梯門一開,迎接我們的是一堆盆栽,最後呢,當然是被裡面的小姐請了出來,後來長大才知道那棟大樓是政府機構。如果碰到雨天,沒辦法在戶外活動的時候,我們也會自製些"紙上遊戲 (現在稱桌遊)"來給大家玩,甚至一時興起還自己畫一些漫畫與大家分享;比如說小時候我們非常著迷洛克人這玩意(如下圖),還自己山寨了一個"戰鬥人漫畫"跟大家分享..大家也都很捧場,佳評如潮玩得不亦樂乎。
 


至於週日的正常主日學聚會,更是我們這群蘿蔔頭呼風喚雨的時光,那時候一下課,就會有錄影帶卡通撥放,但我們總是拿著教會裡面那些軟積木充當棒球棍,揉著報紙當球在那打起迷你室內棒球,老是在爭論 我投的是好球還是壞球,或者你打的是全壘打還是安打...又或者把積木排成一關又一關的關卡,自以為是超人般的闖著那小小的積木關卡我們老是玩到了樓下聚會結束,才依依不捨離開,

那段日子,我度過了非常非常開心的主日學六年...

但不知怎麼地,隨著時光的飛逝,我們這群當年永遠的死黨卻一個一個先後離開,先是俊智回南部,偉文、達人也因為一些原因不再來教會, 最後接著是我因為念書的原因離開了台北,一走就是六年,直到2009年末才回到台北,再回來教會時,頓時頗有遊子歸鄉,近鄉情怯之感。當然,那段美麗的時光 與我們燦爛的笑容當然就沒有在繼續譜寫下去。不過 正因為如此,這些故事也才會一直縈繞在我心頭.

我記得 某天刮颱風 我們大喊著 這是"暴風雪人的關卡"
我記得 我們老指著對面大樓養的黑白狗叫做乳牛.
我記得 我們上直笛課 老唱到一首小草(若) 歌詞是關於"吐"露芬芳 就自以為的吐.
我記得 我們總是一起佈置教室, 一次還貪玩把要黏貼到佈告欄的小朋友照片.用釘槍釘照片的裡面臉阿眼睛阿,笑得樂不可支..卻挨了一頓痛打
我記得 每年聖誕節總是會進到一間滿是裝飾品跟玩具的房間 忍著霉味找想要的裝飾品跟組裝聖誕樹
我記得 拿著奇特的保麗龍上面插著大頭釘當彈珠檯.

你們記得嗎?

謹以此文 懷念過往.

給我永遠的朋友們, 真心希望你們每一個 都能過得很好.
都有上帝的祝福與你們永遠同在.

宗翰

此文同步刊載於 板橋教會130周年紀念特刊
================
主日禮拜時間:
《台語禮拜》週日上午09:30~11:00
《國語禮拜》週日上午11:05~12:30

教會地址:台北縣板橋市明德街1巷3號
連絡電話:02-29687749

2010年9月14日 星期二

[機率論] 淺論獨立性質 與 Dynkin's pi-lambda 定理

直觀上,說事件獨立表示事件過去發生的歷史不會影響未來的結果。比如說我們考慮某隨機試驗為 投擲公平銅板三次,其結果 出現正面或者反面 不影響 下一次試驗出現正面或者反面的機率。則我們可將此投擲銅板的隨機試驗視為獨立事件。


以下我們給出各種獨立性的定義:

給定機率空間 $(\Omega, \mathcal{F}, P)$。
Definition: Independence of Two Events
我們說兩事件 $A,B \in \mathcal{F}$ 彼此獨立 (A independent of B) 若下列條件成立
\[
P(A \cap B) = P(A)P(B)
\]

Definition: Independence of Two Random Variables
我們說 兩隨機變數 $X, Y$ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立,若下列條件成立
對任意 $C, D \in \mathcal{B}_{\mathbb{R}}$
\[
P(X \in C, Y \in D) = P(X \in C, Y \in D)
\]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Two Sigma-Algebras
我們說 兩 sigma-algebra $\mathcal{F}, \mathcal{G}$ 彼此獨立,若下列條件成立
對任意 $A \in \mathcal{F}$ 與 $B \in \mathcal{G}$ 我們有
\[
P(A \cap B) = P(A)P(B)
\]

現在我們看個事件獨立的結果:

=========================
FACT: 若事件 $A$, $B$ 為獨立,則 $A$ 與 $B^c$, $A^c$, 以及 $B$ 與 $B^c$, $A^c$ 均為獨立。
=========================
Proof:
在此只證 $A$ 與 $B^c$ 獨立。其餘證法皆雷同不贅述。由於要證  $A$ 與 $B^c$ 獨立,由定義可知我們必須要證明
\[
P(A \cap B^c) = P(A) P(B^c)
\]現在觀察下列事件等價
\[\left\{ {A \cap {B^c}} \right\} = \left\{ {A\backslash \left( {A \cap B} \right)} \right\}
\]且注意到 $A$ 與 $A \cap B$ 彼此 disjointed,故若我們計算其機率可得
\[P(A \cap {B^c}) = P(A\backslash \left( {A \cap B} \right)) = P(A) - P\left( {A \cap B} \right)
\]由於 $A$ 與 $B$ 獨立故 $P(A \cap B) = P(A) P(B)$,將此代入上式可得
\[\begin{array}{l}
 \Rightarrow P(A \cap {B^c}) = P(A) - P\left( {A \cap B} \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A) - P\left( A \right)P\left( B \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)\left[ {1 - P\left( B \right)} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = P(A)P\left( {{B^c}} \right) \ \ \ \ \square
\end{array}\]



那麼現在如果超過兩個以上的 事件, 隨機變數 or sigma-algebra, 的話怎麼辦呢?

Definition: Independence of Several Events
我們說事件 $A_1,A_2,...,A_n \in \mathcal{F}$ 彼此獨立 若下列條件成立:
$I \subset\{1,2,...,n\}$
\[P\left( {\bigcap\limits_{i \in I}^n {{A_i}} } \right) = \prod\limits_{i \in I}^n {P({A_i})} \]

Definition: Independence of Several Random Variables
我們說 隨機變數 $X_1,X_2,... X_n $ 從 $(\Omega, \mathcal{F})$ 映射到 $(\mathbb{R},\mathcal{B}_{\mathbb{R}})$彼此獨立,若下列條件成立:
對任意 $i=1,2,...,n$, $B_i \in \mathcal{B}_{\mathbb{R}}$
\[P\left( {\bigcap\limits_{i =1}^n {\left\{ {X \in {B_i}} \right\}} } \right) = \prod\limits_{i =1}^n {P\left( {X \in {B_i}} \right)} \]其中 $\mathcal{B}_{\mathbb{R}}$ 為 Borel sigma-algebra。

Definition: Independence of Several Sigma-Algebras
我們說  sigma-algebra $\mathcal{F_1},\mathcal{F_2},...,\mathcal{F_n}$ 彼此獨立,若下列條件成立:
對任意 $i =1,2,...,n$,  $A_i \in \mathcal{F_i}$ 我們有
\[P\left( {\bigcap\limits_{i =1}^n {{A_i}} } \right) = \prod\limits_{i=1}^n {P({A_i})}
\]

為了找出要 獨立性的充分條件,我們先介紹下面一些術語

===============================
Definition: $\pi$-system $\lambda$-system
我們說 $\mathcal{P}$ 為 $\pi$-system 若下列條件成立
1. $\mathcal{P} \neq \emptyset$
2. 若 $A,B \in \mathcal{P}$ 則 $A \cap B \in \mathcal{P}$

我們說 $\mathcal{L}$ 為 $\lambda$-system 若下列條件成立
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint, 則 $\bigcup_i A_i  \in \mathcal{L}$
===============================

Comment: Sigma-algebra 本身即為 $\lambda$-system。讀者可自行確認 Sigma-algebra 定義確實符合  $\lambda$-system。

===============================
Theorem: Dynkin's Pi-Lambda Theorem
若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$,則 $\sigma(\mathcal{P}) \subset \mathcal{L}$
===============================
Proof: omitted.


我們用下面的幾個 proposition 來驗證如何使用 $\pi-\lambda$ Theorem。首先看看如何檢驗一個集合確實為  $\lambda$-system。

===============================
Proposition: 令 $P_1, P_2$ 為兩個在 $(\Omega, \mathcal{B})$ 上的機率測度。則下列集合
\[
\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\}
\]為 $\lambda$-system。
===============================

Proof:
要證明 $\mathcal{L}$ 為$\lambda$-system,由定義可知我們需檢驗下列三項性質都被滿足
1. $\mathcal{L} \neq \emptyset$, $\Omega \in \mathcal{L}$
2. 若 $A \in \mathcal{L}$ 則 $A^c \in  \mathcal{L}$
3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint, 則 $\bigcup_i A_i  \in \mathcal{L}$

故我們逐項檢驗如下:
1. 由於 $\Omega \in \mathcal{B}$,且 $P_1(\Omega) = P_2(\Omega)$ 故可知 $\Omega \in \mathcal{L}$ 且 $\mathcal{L} \neq \emptyset$。

2. 若 $A \in \mathcal{L}$,則 $A \in \mathcal{B}$ 且 $P_1(A) = P_2(A)$ 故我們觀察
\[\begin{array}{l}
{P_1}(A) = {P_2}(A) \Rightarrow 1 - {P_1}({A^c}) = 1 - {P_2}({A^c})\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \Rightarrow {P_1}({A^c}) = {P_2}({A^c})
\end{array}\]亦即 $A^c \in \mathcal{L}$。

3. 若 $A_i \in  \mathcal{L}, \;\; \forall i$ 且 $A_i$ disjoint,則我們有 $P_1(A_i) = P_2(A_i), \;\; \forall i$ 且由於  $A_i$ disjoint ,我們觀察下式
\[{P_1}(\bigcup\limits_i^{} {{A_i}} ) = \sum\limits_i^{} {{P_1}({A_i})}  = \sum\limits_i^{} {{P_2}({A_i})}  = {P_2}(\bigcup\limits_i^{} {{A_i}} )\]亦即  $\bigcup_i A_i  \in \mathcal{L}$。

故綜合以上我們可知 $\mathcal{L}$ 三項條件都滿足,故 $\mathcal{L}$確實為 $\lambda$-system。$\square$


接著我們看看如何使用 Dynkin's pi-lambda theorem。

=================
Corollary
若 $P_1, P_2$ 個別為在 $(\Omega, \mathcal{B})$ 上 的機率測度 且 $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$,$P_1(A) = P_2(A)$,則 對任意 $B \in \sigma(\mathcal{P})$,我們有 $P_1(B) = P_2(B)$。其中 $\sigma(\mathcal{P})$ 表示由 $\mathcal{P}$所產生的最小的 sigma-algebra 。
=================

Proof:
由 先前的 Proposition 可知 $\mathcal{L}:=\{A \in \mathcal{B}: P_1(A) = P_2(A)\} $ 為 $\lambda$-system,且注意到我們假設  $\mathcal{P}$ 為 $\pi$-system 使得 對任意 $A \in \mathcal{P}$,$P_1(A) = P_2(A)$,故 $\mathcal{P} \subset \mathcal{L}$,故利用 Dynkin's $\pi-\lambda$ Theorem:
---
若 $\mathcal{P}$ 為 $\pi$-system 且 $\mathcal{L}$ 為 $\lambda$-system 使得 $\mathcal{P} \subset \mathcal{L}$,則 $\sigma(\mathcal{P}) \subset \mathcal{L}$
---
可知  $\sigma(\mathcal{P}) \subset \mathcal{L}$,亦即對任意 $B \in \sigma(\mathcal{P})$,我們有 $P_1(B) = P_2(B)$。$\square$



============
Theorem: Independence class of sets implies independence of generated sigma-algebra
固定機率空間 $(\Omega, \mathcal{F}, P)$, 設  $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立,且 $\mathcal{A}_i$ 為 $\pi$-system,則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。
============

Proof: 我們這邊證明上述結果在 $n=2$ 時候成立。首先固定 $A_2 \in \mathcal{A}_2$,我們建構一集合如下
\[
\mathcal{L}:=\{A\in \mathcal{F}: P(A \cap A_2) = P(A) P(A_2) \}
\]我們現在證明 $\mathcal{L}$ 為一個 $\lambda$-system。故首先檢驗 $\Omega $ 是否落在 $\mathcal{L}$之中。觀察 $\Omega \in \mathcal{F}$ 且 $P(\Omega \cap A_2) = P(A_2) = P(A_2) P(\Omega)$ 故 $\Omega \in \mathcal{L}$

接著我們檢驗 若 $A \in \mathcal{L}$ 中 則 $A^c $ 亦必須落在 $\mathcal{L}$之中。故 $A \in  \mathcal{L}$ 表示 $A \in \mathcal{F}$ 且 \[\begin{array}{l}
P(A \cap {A_2}) = P\left( A \right)P\left( {{A_2}} \right)\\
 \Rightarrow P(\left( {\Omega \backslash {A^c}} \right) \cap {A_2}) = \left[ {1 - P\left( {{A^c}} \right)} \right]P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {\left( {\Omega  \cap {A_2}} \right)\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}\backslash \left( {{A^c} \cap {A_2}} \right)} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A_2}} \right) - P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A_2}} \right) - P\left( {{A^c}} \right)P\left( {{A_2}} \right)\\
 \Rightarrow P\left( {{A^c} \cap {A_2}} \right) = P\left( {{A^c}} \right)P\left( {{A_2}} \right)
\end{array}\]故可得 $A^c \in \mathcal{L}$。

最後我們檢驗若 $B_1, B_2, ...  \in \mathcal{L}$ 且互為 disjoint,我們要檢驗是否  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$

故令 $B_1, B_2, ...  \in \mathcal{L}$且互為 disjoint,則我們有 $B_1, B_2, ... \in \mathcal{F}$ 且 $P(B_i \cap A_2) = P(B_i) P(A_2), \;\; \forall i \in \mathbb{N}$ 現在觀察  $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{F}$ 且
\[\begin{array}{l}
P\left( {\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right) \cap {A_2}} \right) = P\left( {\bigcup\limits_{i = 1}^\infty  {\left( {{B_i} \cap {A_2}} \right)} } \right)\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \sum\limits_{i = 1}^\infty  {P\left( {{B_i} \cap {A_2}} \right)}  = P({A_2})\sum\limits_{i = 1}^\infty  {P({B_i})} \\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = P\left( {\bigcup\limits_{i = 1}^\infty  {{B_i}} } \right)P({A_2})
\end{array}\]亦即 $\bigcup\limits_{i = 1}^\infty  {{B_i}} \in \mathcal{L}$ 。

綜合上述三點我們可以推得 $\mathcal{L}$ 為 $\pi$-system,且由假設可知 $\mathcal{A}_1, \mathcal{A}_2$ 皆為 $\pi$-system 且 $\mathcal{A}_1 \subset \mathcal{L}$ 因為 取任意集合 $A_1 \in \mathcal{A}_1$ 則 由假設$\mathcal{A}_1, \mathcal{A}_2$ 彼此獨立,故 $P(A_1 \cap A_2) = P(A_1) P(A_2)$ 此結果確實滿足 $\mathcal{L}$之要求,故  $\mathcal{A}_1 \subset \mathcal{L}$ 。

現在我們利用 Dynkin's pi-lambda theorem 可知道 $\sigma(\mathcal{A}_1) \subset \mathcal{L}$ 故可推論 $\sigma(\mathcal{A}_1)$ 與 $\mathcal{A}_2$ 互為獨立。

現在推廣上述結果可證得 $\sigma(\mathcal{A}_1)$ 與 $\sigma (\mathcal{A}_2)$ 互為獨立。




============
Theorem: 
設 $\mathcal{F}_{i,j}$, $1 \le i \le n$ 且 $1 \le j \le m(i)$ 互為獨立的 sigma-algebras,且令
\[
\mathcal{G}_i := \sigma(\bigcup_j F_{i,j})
\]則 $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。
============
Proof:
我們要證明 sigma-algebras  $\mathcal{G}_1,...,\mathcal{G}_2$ 亦互為獨立。

首先定義集合
\[
\mathcal{A}_i := \{ A_{i,j} \in \mathcal{F}_{i.j} : \bigcap_j A_{i,j} \}
\] 注意到 由於 $\mathcal{F}_{i,j}$ 為 sigma-algebra,可知  $\Omega \in \mathcal{F}_{i,j},\;\; \forall i,j $ ;故若我們取 $A_{i,j} := \Omega$,則 $ \bigcap_j A_{i,j} = \Omega$ 亦即 $\Omega \in \mathcal{A}_i$;且 $\mathcal{A}_i \neq \emptyset$。  $\ \ \ \ (*)$

接著我們檢驗 $\mathcal{A}_i$ 是否為 $\pi$-system: 若  $A_{i,j}, B_{i,j} \in \mathcal{A}_{i,j}$ 則 $A_{i,j} \cap B_{i,j} \in \mathcal{A}_i$ $\ \ \ \ (**)$。故由 $(*)$ 與 $(**)$ 可知 $\mathcal{A}_i$ 為 $\pi$-system。

接著我們試圖要把 $\mathcal{A}_i$ 與我們要證明的 $\mathcal{G}_i$ 關係連結起來,故我們檢驗 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$:
令 $A_{i,j} \in \mathcal{F}_{i,j}$ 我們要證明  $A_{i,j} \in  \mathcal{A}_i$,現在觀察 $\bigcap_j A_{i,j} = A_{i,j} \cap \Omega \cap \Omega \cap ...$ 故可推得 $A_{i,j} \in \mathcal{A}_i$。亦即 $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$。

再者,若 $A_{i,j} \in \mathcal{A}_i$ 則 $A_{ij} \in \mathcal{F}_{i,j}$ ,由定義可知 $\mathcal{F}_{i,j}$ 互為獨立,故 $\mathcal{A}_i$ 互為獨立。

現在總結手上有的對於 $\mathcal{A}_i$ 結果如下:
1.  $\mathcal{A}_i$ 為 $\pi$-system
2.  $\bigcup_j \mathcal{F}_{i,j} \subset \mathcal{A}_i$
3.  $\mathcal{A}_i$ 互為獨立。

現在由 Theorem: Independence class of sets implies independence of generated sigma-algebra 可知:若 $\mathcal{A}_1,\mathcal{A}_2,...,\mathcal{A}_n$ 彼此獨立,且 $\mathcal{A}_i$ 為 $\pi$-system,則
\[\sigma(\mathcal{A}_1), \sigma(\mathcal{A}_2), ..., \sigma(\mathcal{A}_n)
\] 亦為彼此獨立。

亦即我們得到 $\sigma(\mathcal{A}_i)$ 亦互為獨立。且 $\sigma(\mathcal{A}_i) \supset \mathcal{A}_i \supset \bigcup_j \mathcal{F}_{i,j}$ 故可推知 (由 $ \sigma(\cup_j \mathcal{F}_{i,j})$ 為最小的 sigma-algebra 包含 $\mathcal{F}_{i,j}$)
\[
\sigma(\mathcal{A}_i) \supset \mathcal{G}_i := \sigma(\cup_j \mathcal{F}_{i,j})
\]且由於 $\sigma(\mathcal{A}_i)$ 亦互為獨立,故 $\mathcal{G}_i $ 互為獨立。 $\square$










2010年9月12日 星期日

[數學分析] Fourier Series 逐點收斂性質 的充分條件

閱讀本文之前,建議讀者先行閱讀 [數學分析] 三角多項式 與 三角級數 (1) 來熟悉符號與定義。

現在考慮週期連續函數 $f$,並取 $c_n$ 為 $f$ 的 Fourier Series Coefficient,則我們可以定義 $N$ 項 Partial sum $S_N(f;x)$ 如下:
\[
S_N(f;x) :=\sum_{n=-N}^N c_n e^{inx}
\]其中 $c_n = \frac{1}{2 \pi}\int_{-\pi}^\pi f(x) e^{-inx}dx$

為了簡化符號,我們現在定義 Dirichlet kernel $D_N(t) $  如下
\[
D_N(t) := \sum_{n =-N}^N e^{int}
\]讀者可自行驗證上述 Dirichlet kernel 滿足
\[{D_N}(t): = \sum\limits_{n =  - N }^N  {{e^{int}}}  = \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}\]且 $\int_{ - \pi }^\pi  {{D_N}(t)dt = 2\pi } $

現在讓 $n \to \infty$,我們想問何時 上述的 Partial sum 是否收斂到原函數? ;i.e., $$f(x) =?= \sum_n c_n e^{inx} $$ 答案是當 $f$ 為連續函數 或者滿足某程度的連續條件;則 我們前述定義的 Partial sum $S_N(f;x)$ 可以 "逐點收斂" 到原函數 $f$。我們將此重要的結果記錄成以下定理:
================
Theorem 1: Sufficient Condition For Pointwise Convergence of Fourier Series
若 對某些 $x \in [-\pi, \pi]$ 而言, 存在 $\delta >0$ 與 $M>0$ 使得 對任意 $t \in (-\delta, \delta)$
\[
|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|
\]則 $ \displaystyle \lim_{N \rightarrow \infty}S_N(f;x) = f(x)$
===============

Comments: 
1. 上述定理中的條件:存在 $\delta >0$ 與 $M>0$ 使得 $|t| < \delta \Rightarrow |f(x+t) - f(x)| < M\;|t|$ 一般稱為 Lipschitz Condition
2. 上述定理並 不 保證 均勻收斂!!!

Proof (Theorem 1) : 我們要證 $S_N(f;x) \to f(x)$ 逐點收斂;亦即 $\lim_{N \rightarrow \infty}S_N(f;x) = f(x)$ ;故取 $x$ 滿足假設條件,且給定 $\varepsilon>0$ 我們要證 存在 $N>0$ 使得 $n \ge N \Rightarrow |S_N(f;x) - f(x)| <\varepsilon$ 。現在觀察
\[\begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| = |\sum\limits_{n =  - N}^N {{c_n}{e^{inx}}}  - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\sum\limits_{n =  - N}^N {\left( {\int_{ - \pi }^\pi  {f\left( t \right)} {e^{ - int}}dt} \right)} {e^{inx}} - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} \sum\limits_{n =  - N}^N {{e^{in\left( {x - t} \right)}}dt}  - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} {D_N}\left( {x - t} \right)dt - f(x)|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = |\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( t \right)} {D_N}\left( {x - t} \right)dt - \underbrace {\frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt}_{ = f\left( x \right)}|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{x - \pi }^{x + \pi } {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}
\end{array}\]注意到由於 $D_N$ 與 $f$ 為 週期 $2 \pi$函數,故其 $D_N f$ 亦為週期 $2 \pi$函數,故若我們對其積分 其積分範圍可以是 滿足總長為 $2 \pi$ 任意範圍  即可。亦即我們可繼續改寫前式如下:
\[\small \begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| = \frac{1}{{2\pi }}|\int_{x - \pi }^{x + \pi } {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{ - \pi }^\pi  {f\left( {x - s} \right)} {D_N}\left( s \right)ds - \int_{ - \pi }^\pi  {f\left( x \right)} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}|\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} {D_N}\left( t \right)dt|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| {\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {\left( {N + 1/2} \right)t} \right)}}{{\sin \left( {t/2} \right)}}dt} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| {\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {Nt} \right)\cos \left( {t/2} \right) + \cos \left( {Nt} \right)\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \frac{1}{{2\pi }}\left| \begin{array}{l}
\int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\sin \left( {Nt} \right)\cos \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \int_{ - \pi }^\pi  {\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]} \frac{{\cos \left( {Nt} \right)\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}dt
\end{array} \right|}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} \le \frac{1}{{2\pi }}\left[ \begin{array}{l}
\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\cos \left( {t/2} \right)} \right]} \sin \left( {Nt} \right)dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\sin \left( {t/2} \right)} \right]} \cos \left( {Nt} \right)dt} \right|
\end{array} \right]}
\end{array}
\]注意到若 $|t| \le \delta$ 則下列兩式
\[\left\{ \begin{array}{l}
\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}} \right]\cos \left( {t/2} \right)\\
\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}} \right]\sin \left( {t/2} \right)
\end{array} \right.
\]兩者皆為有界 $(|f(x+t) - f(x)| \le M |t| < M \delta)$。故
\[\small \begin{array}{*{20}{l}}
{|{S_N}(f;x) - f(x)| \le \frac{1}{{2\pi }}\left[ \begin{array}{l}
\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\cos \left( {t/2} \right)} \right]} \sin \left( {Nt} \right)dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left[ {f\left( {x - t} \right) - f\left( x \right)} \right]}}{{\sin \left( {t/2} \right)}}\sin \left( {t/2} \right)} \right]} \cos \left( {Nt} \right)dt} \right|
\end{array} \right]}\\
{\begin{array}{*{20}{l}}
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \frac{M}{{2\pi }}\left[ {\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|\cos \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}} \right]} \sin \left( {Nt} \right)dt} \right| + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|\sin \left( {t/2} \right)}}{{\sin \left( {t/2} \right)}}} \right]} \cos \left( {Nt} \right)dt} \right|} \right]}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \underbrace {\frac{M}{{2\pi }}\left[ {\left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|}}{{\sin \left( {t/2} \right)}}} \right]} \sin \left( {Nt} \right)dt} \right| + \left| {\int_{ - \pi }^\pi  {\left[ {\frac{{\left| t \right|}}{{\sin \left( {t/2} \right)}}} \right]} \cos \left( {Nt} \right)dt} \right|} \right] \to 0}_{\left( {by\begin{array}{*{20}{c}}
{}
\end{array}\mathop {\lim }\limits_{n \to \infty } {c_n} = 0} \right)}}
\end{array}}
\end{array}\]

以下我們看個例子:

Example:
假設 $0 < \delta < \pi$,
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left| x \right| < \delta \\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\delta  < \left| x \right| \le \pi
\end{array} \right.\]且對任意 $x \in \mathbb{R}$, $f(x+2 \pi) = f(x)$
(a) 試求 Fourier Series Coefficient
(b) 試證 $\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}}  = \frac{{\pi  - \delta }}{2} $

Solution
在求解之前我們先確認 $f(x)$ 具有 Fourier Series,首先注意到 $f$ 為週期函數 (週期為 $2 \pi$) 接著我們檢驗其是否滿足我們的 point-wise convergence (Theorem 1) 條件:
給定 $x =0$ ,我們取題目中給定的 $\delta >0$ 檢驗對任意 $t \in (-\delta, \delta)$ ,觀察
\[\begin{array}{l}
\left| {f\left( {x + t} \right) - f\left( x \right)} \right| = \left| {f\left( t \right) - f\left( 0 \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {1 - 1} \right| = 0 \le M\left| t \right|
\end{array}\]故我們知道其滿足 Theorem 1,亦即 $f$ 有 Fourier Series 且 $f(x) = \sum_{-\infty}^\infty c_n e^{inx}$ 現在我們可以開始解題:
(a) 首先針對 $c_0$ 可知
\[{c_0}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right)dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1dx}  = \frac{\delta }{\pi }\]
另外對 $n \neq 0$
\[\begin{array}{l}
{c_n}: = \frac{1}{{2\pi }}\int_{ - \pi }^\pi  {f\left( x \right){e^{inx}}dx}  = \frac{1}{{2\pi }}\int_{ - \delta }^\delta  {1{e^{inx}}dx} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{{n\pi }}\frac{{{e^{in\delta }} - {e^{ - in\delta }}}}{{2i}} = \frac{1}{{n\pi }}\sin \left( {n\delta } \right)
\end{array}\]注意到上述結果暗示了
\[f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \]
(b) 我們要證明  $\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}}  = \frac{{\pi  - \delta }}{2} $ 故由 part (a) 可知
\[\begin{array}{l}
f\left( x \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}{e^{inx}}} \\
 \Rightarrow f\left( 0 \right) = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \\
 \Rightarrow 1 = \frac{\delta }{\pi } + 2\sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \\
 \Rightarrow \frac{{\pi  - \delta }}{{2\pi }} = \sum\limits_{n = 1}^\infty  {\frac{{\sin \left( {n\delta } \right)}}{{n\pi }}} \ \ \ \ \ \square
\end{array}
\]


前述 Theorem  只有說明 Fourier Series 何時會 逐點收斂,那麼我們想問甚麼時候可以有均勻收斂呢? 要討論 均勻收斂 對於 Fourier Series 其實故事相當冗長,不過所幸我們可以加入額外假設馬上獲得我們想要的 均勻收斂性質,亦即 額外加入 函數除了週期連續之外,還需要可導在該區間內可導,則均勻連續性可以被保證。

==========
Theorem:
令 $f \in C^1([-\pi,\pi])$ 且 periodic ,則 $S_N(f) \to f$ uniformly。
==========
Proof:
要證明 $S_N(f) \to f$ uniformly;首先注意到 $f \in C^1([-\pi,\pi])$ 故自動滿足 Lipschitz condition;由 Theorem 1 亦即我們有 對任意 $x$,$S_N(f;x) \to f(x)$ pointwise。

故我們只需證明 $S_N(f)$ 均勻收斂 無須證明他收斂到 $f$ (why? 因為 limit 的唯一性質保證如果已經有 $S_N(f)$ 逐點收斂到某函數 $f$ 且又知道 $S_N(f)$ 均勻收斂 則 $S_N(f)$ 必定要均勻收斂到 $f$)。

那麼現在問題變成如何證明  $S_N(f)$ 均勻收斂 ? 回憶 $S_N(f)$ 定義:
\[{S_N}\left( {f;x} \right): = \sum\limits_{n =  - N}^N {{c_n}{e^{inx}}} \]我們需要額外的工具 幫助我們證明上述 summation 收斂。回憶:( Weierstrass M-test :若 函數數列 $g_n(x)$ 為連續 且 $|g_n(x)| \le M_n$ 且 $\sum_n M_n < \infty$,則 $\sum_n |g_n(x)|$ 均勻收斂。)

現在觀察 $\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| $;另外由於 $f \in C^1$ 我們可定義 $c_n'$ 為 $f'$ 的 Fourier Series Coefficient,則
\[{c_n}' = in\left( {{c_n}} \right)
\]故由前述結果可推知
\[\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| = \left| {\frac{{{c_n}'}}{{in}}} \right| = \left| {\frac{{{c_n}'}}{n}} \right|  \ \ \ \ (**)
\]現在利用 一個不等式工具: 對任意 $a,b \ge 0$,$a \cdot b \le \frac{1}{2} |a^2 + b^2|$;現在選 $a:=c_n'$ 與 $b:=1/n$ 則利用上述不等式可推得
\[\begin{array}{l}
\left| {{c_n}{e^{inx}}} \right| \le \left| {{c_n}} \right| = \left| {\frac{{{c_n}'}}{n}} \right| \le \frac{1}{2}|{\left( {{c_n}'} \right)^2} + {\left( {\frac{1}{n}} \right)^2}|\\
 \Rightarrow \left| {{c_n}{e^{inx}}} \right| \le \underbrace {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}}_{: = {M_n}}
\end{array}\]現在對 $M_n$ 取 summation 可得
\[\begin{array}{l}
\sum\limits_{n =  - \infty }^\infty  {{M_n}}  = \sum\limits_{n =  - \infty }^\infty  {\left[ {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}} \right]} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {{c_0}} \right| + \sum\limits_{n =  - \infty ;n \ne 0}^\infty  {\left[ {\frac{1}{2}{{\left( {{c_n}'} \right)}^2} + \frac{1}{2}\frac{1}{{{n^2}}}} \right]} \\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left| {{c_0}} \right| + \frac{1}{2}\underbrace {\sum\limits_{n =  - \infty ;n \ne 0}^\infty  {{{\left( {{c_n}'} \right)}^2}} }_{Term1} + \frac{1}{2}\underbrace {\sum\limits_{n =  - \infty ;n \ne 0}^\infty  {\left[ {\frac{1}{{{n^2}}}} \right]} }_{ < \infty }
\end{array}\]上式中的 Term 1 可利用 Parseval's Theorem :($\sum\limits_n | {c_n}{|^2} = \underbrace {\int_{ - \pi }^\pi  | f(x){|^2}dx}_{: = \left\| f \right\|_{{L^2}}^2}$),由於 $f \in C^1([-\pi,\pi])$ 故 \[\sum\limits_n | {c_n}{|^2} = \underbrace {\int_{ - \pi }^\pi  | f(x){|^2}dx}_{: = \left\| f \right\|_{{L^2}}^2} < \sup {\left| f \right|^2}2\pi  < \infty \]故 Term 1 亦為有界。至此我們證明了
\[
\sum_n M_n <\infty
\]由 Weierstrass M-test 可知 $\sum_n c_n e^{inx}$ 均勻收斂 亦即 $S_N(f)$ 均勻收斂,又由於 $S_N(f) \to f$ 逐點收斂,故  $S_N(f) \to f$ 均勻收斂 $\square$

以下我們看個例子:

Example
令 $f : [-\pi, \pi] \to \mathbb{C}$ 無窮可微 的解析函數 且滿足 $f^{(k)}(-\pi) = f^{(k)}(\pi)$ 對任意 $k \in \mathbb{Z}^+ \cup \{0\}$
(a) 若 $c_n$ 為 $f(x)$ 的 Fourier Series coefficient。試求 $f'(x)$ 的 Fourier Series Coefficient $c_n'$
(b) 試證 $n c_n \to 0$

Proof:
(a) 首先注意到 $f$ 為 解析函數,且  $f^{(k)}(-\pi) = f^{(k)}(\pi)$ 對任意 $k \in \mathbb{Z}^+ \cup \{0\}$ 故此函數滿足 Theorem 1 我們可說 $f$ 具有 Fourier Series 如下
\[f\left( x \right) = \sum\limits_{n =  - \infty }^\infty  {{c_n}{e^{inx}}} \]故
\[f'\left( x \right) = \sum\limits_{n =  - \infty }^\infty  {{c_n}in{e^{inx}}} : = \sum\limits_{n =  - \infty }^\infty  {{c_n}'{e^{inx}}}  \Rightarrow {c_n}' = {c_n}in\]

(b) 由於我們知道 $c_n ' = in c_n$ 故
\[\begin{array}{l}
{c_n}' = in{c_n} \Rightarrow \frac{{{c_n}'}}{i} = n{c_n}\\
 \Rightarrow \left| {n{c_n} - 0} \right| = \left| {\frac{{{c_n}'}}{i}} \right| \to 0
\end{array}\](利用 Bessel's inequality: $\lim_{n} c_n' \to 0$)

另外若 $f$ 為週期連續函數,則我們可以透過三角多項式逼近,此結果紀錄如下
==========
FACT: 若 $f$ 為 週期 $2 \pi$ 的連續函數 且 若 $\varepsilon >0$ ,則 存在 trigonometric polynomial $P$ 使得 對任意 $x \in \mathbb{R}$
\[
|P(x) - f(x)| < \varepsilon
\]==========
Proof: omitted. (via Weierstrass Approximation Theorem)

2010年8月29日 星期日

[線性系統] 對角化 與 Eigenvalues and Eigenvectors

首先我們給出相關定義

============================
Definition (Eigenvalue and Eigenvector)
設 $A$ 為 $n \times n$ 方陣,若存在一非零向量 $x \in \mathbb{R}^n$ (or $\in \mathbb{C}^n$) 與 純量 $\lambda \in \mathbb{R}^1$ (or $\in \mathbb{C}^1$)滿足
\[
Ax = \lambda x
\]則我們稱 $\lambda$ 為 $A$ 的 特徵值 (eigenvalue) 且 $x$ 為 $A$對應於 $\lambda $ 的特徵向量(eigenvector)。
============================
Comments:
1. 上述定義中 $Ax = \lambda x$ 又稱 eigenvalue-eigenvector 關係: $( \lambda I - A)x =0$,注意! $0$ 為 零向量!!。
2. 若 $A$ 為 $n \times n$ 方陣,則我們稱下式
\[\det (\lambda I - A)\]為 $A$ 矩陣的 特徵多項式(characteristic polynomial) 且 $\det(\lambda I -A)=0$ 為特徵方程(characteristic equation)。

現在考慮 LTI 系統 (但無考慮外力 $u=0$) 以狀態空間表示
\[
\dot {x} = Ax,
\]其中 $x$ 為 $n \times 1$ 狀態向量,$A$ 為 $n \times n$ 常數矩陣。現在對上式取拉式轉換 且令初值為零,
\[sX\left( s \right) = AX\left( s \right) \Rightarrow \left( {sI - A} \right)X\left( s \right) = 0
\] 亦即對上述系統而言,其解特徵方程 (characteristic polynomial) 可寫為
\[
\det( s I - A) =0
\]且 特徵方程式的根 即為 eigenvalue。


對角化 (Diagonalization)

考慮  $A$ 為 $n$ 階方陣 ,且 $A$ 與 一個 對角矩陣(diagonal matrix) $ \Lambda$ 相似 (亦即有相同的 eigenvalue),則稱此 $A$ 矩陣為可對角化 (diagonalizable);亦即存在一個 non-singular transformation matrix $T$ 使得
\[
\Lambda = T^{-1}AT
\]

FACT: 若 $n$ 階方陣 $A$ 為可對角化(Diagonalizable),則必須具備 $n$個線性獨立的 eigenvector。
Proof: omitted
NOTE: $n$個線性獨立的 eigenvector 具有 $n$ 個對應的 相異 eigenvalue


由於矩陣的對角化可借助 eigenvalue 與 eigenvector 來達成,且依照 eigenvalue 的不同情況(共有三種情況)會有所各自不同的衍生討論,我們將各種情況總結如下:
  1. 矩陣 $A$ 具有 相異特徵值 (distinct eigenvalues)
  2. 矩陣 $A$ 具有 重複特徵值 (repeated eigenvalues)
  3. 矩陣 $A$ 具有 複數特徵值 (complex eigenvalues)

以下我們逐項討論:

Case I: 相異特徵值 (Distinct eigenvalues)
考慮  $A$ 為 $n \times n$ 方陣,其特性方程
\[
\det(\lambda_iI - A) =0, \; \forall i
\]且 $\lambda_1 \neq \lambda_2 \neq ... \neq \lambda_n$。那麼對於 第 i 個 eigenvalue $\lambda_i$而言,其對應的 eigenvector 定為 $v_i$,且滿足 eigenvalue-eigenvector 關係
\[({\lambda _i}I - A){v_i} = 0\]那麼對任意 $i$ 而言,我們有
\[({\lambda _i}I - A){v_i} = 0 \Rightarrow {\lambda _i}{v_i} = A{v_i}\]亦即
\[ \Rightarrow \left\{ \begin{array}{l}
{\lambda _1}{v_1} = A{v_1}\\
{\lambda _2}{v_2} = A{v_2}\\
 \vdots \\
{\lambda _n}{v_n} = A{v_n}
\end{array} \right.
\]現在將上述結果寫成矩陣形式:
\[\begin{array}{*{20}{l}}
{\left[ {\begin{array}{*{20}{c}}
{{\lambda _1}{v_1}}&{{\lambda _2}{v_2}}& \cdots &{{\lambda _n}{v_n}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{A{v_1}}&{A{v_2}}& \cdots &{A{v_n}}
\end{array}} \right]}\\
{ \Rightarrow \underbrace {\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]}_{n \times n}\underbrace {\left[ {\begin{array}{*{20}{c}}
{{\lambda _1}}&0& \cdots &0\\
0&{{\lambda _2}}&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&{{\lambda _n}}
\end{array}} \right]}_{n \times n} = A\underbrace {\left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]}_{n \times n}}
\end{array}\]令 $T: = \left[ {\begin{array}{*{20}{c}}
{{v_1}}&{{v_2}}& \cdots &{{v_n}}
\end{array}} \right]$ 且
\[
\Lambda := {\left[ {\begin{array}{*{20}{c}}
{{\lambda _1}}&0& \cdots &0\\
0&{{\lambda _2}}&{}& \vdots \\
 \vdots &{}& \ddots &0\\
0& \cdots &0&{{\lambda _n}}
\end{array}} \right]}
\]則我們有
\[\begin{array}{l}
T\Lambda  = AT \Rightarrow \Lambda  = {T^{ - 1}}AT
\end{array}\]若 $T$ 為 nonsingular (i.e., $T$ 有 $n$ 個線性獨立的 row or columns 亦即 eigenvectors 之間彼此線性獨立)。

那麼現在我們證明 $T$ 確實為 nonsingular matrix。
Proof
用歸納法:令 $n=2$ 對任意兩個 eigenvector $v_i, v_j$ 而言,我們要證明此兩者為線性獨立,亦即由線性獨立的定義,對下式
\[
\alpha_i v_i + \alpha_j v_j =0 \ \ \ \ (*)
\]其係數 $\alpha_i = \alpha_j =0$。

故現在觀察 $(*)$ 式,兩邊同乘 $(\lambda_i I - A)$
\[\begin{array}{l}
{\alpha _i}\underbrace {({\lambda _i}I - A){v_i}}_{ = 0\begin{array}{*{20}{c}}
{}
\end{array}by\begin{array}{*{20}{c}}
{}
\end{array}def.} + {\alpha _j}({\lambda _i}I - A){v_j} = 0\\
 \Rightarrow {\alpha _j}({\lambda _i}I - A){v_j} = 0\\
 \Rightarrow {\alpha _j}({\lambda _i}I - A - {\lambda _j}I + {\lambda _j}I){v_j} = 0\\
 \Rightarrow {\alpha _j}({\lambda _i}I - {\lambda _j}I + \left( {{\lambda _j}I - A} \right)){v_j} = 0\\
 \Rightarrow {\alpha _j}\left( {{\lambda _i}I - {\lambda _j}I} \right){v_j} + \underbrace {{\alpha _j}\left( {{\lambda _j}I - A} \right){v_j}}_{ = 0\begin{array}{*{20}{c}}
{}
\end{array}by\begin{array}{*{20}{c}}
{}
\end{array}def.} = 0\\
 \Rightarrow {\alpha _j}\left[ {\left( {{\lambda _i} - {\lambda _j}} \right)I} \right]{v_j} = 0
\end{array}\]又因為 $\lambda_i \neq \lambda_j$ (因為我們假設相異特徵值),且特徵向量 $ v_j \neq 0$ 故必然 $\alpha_j = 0$。
同理可推至 $n$個情況,這邊留給讀者自行證明。 $\square$


透過以上討論我們知道對相異 eigenvalue的情況必定存在 nonsingular matrix $T$ 使得 $A$ 可被對角化 (亦即由 彼此線性獨立 eigenvector 建構 $T$ 矩陣),但若我們有矩陣並不具有 $n$ 個獨立 eigenvector 該怎麼辦呢?  這個情況將會發生在 $A$ 矩陣有重根的時候:


Case II: 重複特徵值 (Repeated eigenvalues) 
考慮矩陣 $A$ 為 $n \times n$ 矩陣且具有 $m$ 個重複特徵值,亦即
\[
\lambda_1 = \lambda_2 = ... = \lambda_m
\]那麼這些重複的特徵值仍必須滿足特徵方程,亦即我們有
\[
\det(\lambda_m I - A) =0
\]且由於出現重根,在此情況下我們不再具有 $n$ 個線性獨立的 eigenvectors;故我們想知道到底剩下幾個 eigenvector 仍是線性獨立,故我們計算 rank: 若
\[
\text{rank}\{ \lambda_m I - A\} =i
\] 則 我們具有 $n -i$ 個 對應於 $\lambda_m$ 的線性獨立 eigenvectors。

重根的情況其實頗為複雜,現在我們看一些例子:

Example 1
\[A: = \left[ {\begin{array}{*{20}{c}}
{{\lambda _m}}&0&0\\
0&{{\lambda _m}}&0\\
0&0&{{\lambda _m}}
\end{array}} \right]\]此時 $A$ 矩陣具有三重根  $\lambda_m$ ,且 $\text{rank} \{\lambda_m I - A \} =0$ 故此三重根 $\lambda_m$ 會對應 $3 - 0 = 3$ 個各自獨立的 eigenvectors。

Example 2
\[A: = \left[ {\begin{array}{*{20}{c}}
{{\lambda _m}}&0&0\\
0&{{\lambda _m}}&1\\
0&0&{{\lambda _m}}
\end{array}} \right]\]此時 $A$ 矩陣具有三重根  $\lambda_m$ ,但 $\text{rank} \{\lambda_m I - A \} = 1$ 故此三重根 $\lambda_m$ 會對應 $3 - 1 = 2$ 個各自獨立的 eigenvectors。

Example 2
\[A: = \left[ {\begin{array}{*{20}{c}}
{{\lambda _m}}&1&0\\
0&{{\lambda _m}}&1\\
0&0&{{\lambda _m}}
\end{array}} \right]\]此時 $A$ 矩陣具有三重根  $\lambda_m$ ,但 $\text{rank} \{\lambda_m I - A \} = 2$故此三重根 $\lambda_m$ 會對應 $3 - 2 = 1$ 個各自獨立的 eigenvectors。


那麼當矩陣 $A$ 不具備足夠的線性獨立 eigenvector 時,我們需引入新的概念,稱作廣義特徵向量(Generalized eigenvector)。且 eigenvector 與 generalized eigenvector 可以建構一個
 non-singular matrix $T$ 使得 $J:= T^{-1}AT$ 且我們稱此 $J$ 矩陣為 Jordan matrix。
=============================
Definition: Generalized eigenvector
我們稱向量 $v$ 為 矩陣 $A$ 對應於 eigenvalue, $\lambda$ 的 rank $k$ 廣義特徵向量(generalized eigenvector) 若下列條件成立
\[\left\{ \begin{array}{l}
{\left( {\lambda I - A} \right)^k}v = 0\\
{\left( {\lambda I - A} \right)^{k - 1}}v \ne 0
\end{array} \right.
\]其中 $k$ 為矩陣 $A$ 的重根數目
=============================
NOTE: $k=1$ 即為原本的 eigenvalue 與 eigenvector。 (無重根)


Example
試求 $A$ 矩陣的 Jordan matrix 。
\[A = \left[ {\begin{array}{*{20}{c}}
1&1&2\\
0&1&3\\
0&0&2
\end{array}} \right]
\]
Solution
首先求解 $A$ 矩陣對應的 eigenvalue:注意由於此矩陣為上三角矩陣,eigenvalue 直接就是對角線元素。或者讀者亦可由特徵方程 $\det(\lambda I - A) =0$ 可解得 $\lambda_i = 1,1,2, \;\; i=1,2,3$ (雙重根 $\lambda_1 = \lambda_2 = 1$)。

我們可先計算單根 $\lambda_3 = 2$ 部分對應的 eigenvector :由 eigenvalue-eigenvector 關係
\[\begin{array}{l}
\left( {{\lambda _3}I - A} \right){v_3} = 0\\
 \Rightarrow \left( {2\left[ {\begin{array}{*{20}{c}}
1&0&0\\
0&1&0\\
0&0&1
\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}
1&1&2\\
0&1&3\\
0&0&2
\end{array}} \right]} \right){v_3} = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
1&{ - 1}&{ - 2}\\
0&1&{ - 3}\\
0&0&0
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{31}}}\\
{{v_{32}}}\\
{{v_{33}}}
\end{array}} \right] = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{31}}}\\
{{v_{32}}}\\
{{v_{33}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
5\\
3\\
1
\end{array}} \right]
\end{array}\]接著我們回頭對付重根 $( \lambda_1 = \lambda_2 = 1)$,先計算 $\text{rank}\{ \lambda_1 I - A\} = \text{rank}\{ \left[ {\begin{array}{*{20}{c}}
0&{ - 1}&{ - 2}\\
0&0&{ - 3}\\
0&0&{ - 1}
\end{array}} \right] = 2 \}$ 故重根對應的線性獨立 eigenvector 數目為 $3 - 2 = 1$。我們先求此 eigenvector:
\[\begin{array}{*{20}{l}}
{\left[ {\begin{array}{*{20}{c}}
0&{ - 1}&{ - 2}\\
0&0&{ - 3}\\
0&0&{ - 1}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = 0}\\
{ \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{ - {v_{12}} - 2{v_{13}} = 0}\\
{ - 3{v_{13}} = 0}\\
{ - {v_{13}} = 0}
\end{array}} \right. \Rightarrow \left\{ {\begin{array}{*{20}{l}}
{{v_{12}} = 0}\\
{{v_{13}} = 0}
\end{array}} \right.}
\end{array}\]三個未知數,兩條方程式,故 $v_{11}$ 為自由變數,令 $v_{11} =1 $ 可得 $\lambda_m$ 對應的一組 eigenvector 為
\[\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{1}}\\
{\rm{0}}\\
{\rm{0}}
\end{array}} \right]\]接著我們利用此eigenvector 產生 generalized eigenvector 且滿足
\[\begin{array}{l}
\left( {{\lambda _2}I - A} \right){v_2} =  - {v_1}\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
0&{ - 1}&{ - 2}\\
0&0&{ - 3}\\
0&0&{ - 1}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{21}}}\\
{{v_{22}}}\\
{{v_{23}}}
\end{array}} \right] =  - \left[ {\begin{array}{*{20}{c}}
1\\
0\\
0
\end{array}} \right]\\
 \Rightarrow \left\{ \begin{array}{l}
 - {v_{22}} - 2{v_{23}} =  - 1\\
{v_{23}} = 0
\end{array} \right. \Rightarrow \left\{ \begin{array}{l}
{v_{22}} = 1\\
{v_{23}} = 0
\end{array} \right.
\end{array}\]故我們選 $v_{22} = 1$ 亦即
\[\left\{ {\begin{array}{*{20}{l}}
{{\lambda _1} = 1 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{1}}\\
{\rm{0}}\\
{\rm{0}}
\end{array}} \right];{\lambda _2} = 1 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{21}}}\\
{{v_{22}}}\\
{{v_{23}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{0}}\\
{\rm{1}}\\
{\rm{0}}
\end{array}} \right]}\\
{{\lambda _3} = 2 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}\\
{{v_{13}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{\rm{5}}\\
{\rm{3}}\\
{\rm{1}}
\end{array}} \right]}
\end{array}} \right.\]故其 nonsingular transformation matrix
\[T = \left[ {\begin{array}{*{20}{c}}
1&0&5\\
0&1&3\\
0&0&1
\end{array}} \right]\]
 Jordan matrix
\[
J = T^{-1} A T =\left[ {\begin{array}{*{20}{c}}
1&1&0\\
0&1&0\\
0&0&2
\end{array}} \right]
\]

Case III: Complex eigenvalues
考慮 $A$ 為 $2 \times 2$ 方陣,其特性方程滿足
\[
\det(\lambda_i - A) = 0
\]且 eigenvalue $\lambda = \sigma + j \omega$ 為 complex number 。

由上述可知 eigenvalue-eigenvector 關係
\[
(\lambda I - A) v_i =0
\] eigenvalue 為 complex value,其對應的 eigenvector $v_i$ 亦為 complex vector。

Example
考慮矩陣
\[A = \left[ {\begin{array}{*{20}{c}}
a&b\\
{ - b}&a
\end{array}} \right]\]$a,b \in \mathbb{R}, b \ne 0$。則我們可對此矩陣先求 eigenvalue,利用特性方程式可知
\[\begin{array}{l}
\det \left( {\lambda I - A} \right) = 0 \Rightarrow \det \left( {\left[ {\begin{array}{*{20}{c}}
{\lambda  - a}&{ - b}\\
b&{\lambda  - a}
\end{array}} \right]} \right) = 0\\
 \Rightarrow {\left( {\lambda  - a} \right)^2} + {b^2} = 0\\
 \Rightarrow {\lambda ^2} - 2a\lambda  + \left( {{a^2} + {b^2}} \right) = 0\\
 \Rightarrow \lambda  = a \pm jb
\end{array}\]現在我們求對應的 eigenvectors:

對 ${\lambda _1} = a + jb$ 我們可計算其 eigenvector 為
\[\begin{array}{l}
\left( {{\lambda _1}I - A} \right){v_1} = 0 \Rightarrow \left( {\left( {a + jb} \right)I - A} \right){v_1} = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{\left( {a + jb} \right) - a}&{ - b}\\
b&{\left( {a + jb} \right) - a}
\end{array}} \right]{v_1} = 0\\
 \Rightarrow b\left[ {\begin{array}{*{20}{c}}
j&{ - 1}\\
1&j
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = 0\\
 \Rightarrow \left\{ \begin{array}{l}
j{v_{11}} - {v_{12}} = 0\\
{v_{11}} + j{v_{12}} = 0
\end{array} \right. \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
1\\
j
\end{array}} \right]
\end{array}\]
接著對 ${\lambda _2} = a - jb$
\[\begin{array}{l}
\left( {{\lambda _2}I - A} \right){v_2} = 0 \Rightarrow \left( {\left( {a - jb} \right)I - A} \right){v_2} = 0\\
 \Rightarrow \left[ {\begin{array}{*{20}{c}}
{\left( {a - jb} \right) - a}&{ - b}\\
b&{\left( {a - jb} \right) - a}
\end{array}} \right]{v_2} = 0\\
 \Rightarrow b\left[ {\begin{array}{*{20}{c}}
{ - j}&{ - 1}\\
1&{ - j}
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = 0\\
 \Rightarrow \left\{ \begin{array}{l}
 - j{v_{11}} - {v_{12}} = 0\\
{v_{11}} - j{v_{12}} = 0
\end{array} \right. \Rightarrow \left[ {\begin{array}{*{20}{c}}
{{v_{11}}}\\
{{v_{12}}}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
j\\
1
\end{array}} \right]
\end{array}\]故 nonsingular transformation matrix $T$ 為
\[T = \left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right]\]且
\[\begin{array}{l}
{T^{ - 1}}AT = {\left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right]^{ - 1}}\left[ {\begin{array}{*{20}{c}}
a&b\\
{ - b}&a
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right] = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
1&{ - j}\\
{ - j}&1
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
a&b\\
{ - b}&a
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
1&j\\
j&1
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
1&{ - j}\\
{ - j}&1
\end{array}} \right]\left[ {\begin{array}{*{20}{c}}
{a + bj}&{aj + b}\\
{ - b + aj}&{ - bj + a}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
{\left( {a + bj} \right) - j\left( { - b + aj} \right)}&{aj + b - j\left( { - bj + a} \right)}\\
{ - j\left( {a + bj} \right) - b + aj}&{ - j\left( {aj + b} \right) - bj + a}
\end{array}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \frac{1}{2}\left[ {\begin{array}{*{20}{c}}
{2a + 2jb}&0\\
0&{2a - 2jb}
\end{array}} \right] = \left[ {\begin{array}{*{20}{c}}
{a + jb}&0\\
0&{a - jb}
\end{array}} \right]
\end{array}\]