2010年12月15日 星期三

[數學分析] 多變數函數的偏導數

令 $E\subset \mathbb{R}^n$ 為 open set。
考慮函數 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 。令 $\{{\bf e}_1,...,{\bf e}_n\}$ 與 $\{{\bf u}_1,...,{\bf u}_m\}$ 各為 $\mathbb{R}^n$ 與 $\mathbb{R}^m$ 的 standard bases。則我們可以將 $\bf f$ 以分量(components)形式 $f_i$ 表示:對任意 ${\bf x} \in E$,
\[
{\bf f}({\bf x}) := \sum_{i=1}^m f_i ({\bf x}){\bf u}_i =f_1 {\bf u}_1 + ... + f_m {\bf u}_m
\]或者${f_i}\left( {\bf{x}} \right) = {\bf{f}}\left( {\bf{x}} \right) \cdot {{\bf{u}}_i},i = 1,...,m$

對任意 ${\bf x} \in E $,$1 \le i \le m$ 且 $1 \le j \le n$ 我們可以定義 偏導數 (Partial Derivative)
\[\left( {{D_j}{f_i}} \right)\left( {\bf{x}} \right): = \mathop {\lim }\limits_{t \to 0} \frac{{{f_i}\left( {{\bf{x}} + t{{\bf{e}}_j}} \right) - {f_i}\left( {\bf{x}} \right)}}{t}\]若上述極限存在。

Comments:
1. 注意到 $f_i({\bf x}) = f_i(x_1,...,x_n)$ 故 $D_j f_i$ 表示了固定其餘變數,僅對 $f_i$ 中的 $x_j$ 求導:故我們記做
\[
D_jf_i ({\bf x}) := \frac{\partial f_i}{\partial x_j}
\]並且稱 $D_jf_i$ 為偏導數 (Partial Derivative)

2. 對任意多變數連續函數而言,儘管偏導數存在並不保證全導數存在:但反之則成立:亦即若 $\bf f$ 在點 $\bf x$ 上可微,則其在 $\bf x$處的偏導數存在:且偏導數完全決定了 linear transformation ${\bf f}'({\bf x})$

3. 同 2 偏導數存在不保證 連續。以下我們看個例子:

Example
若 $f(0,0)=(0,0)$ 且 若 $(x,y) \neq (0,0)$
\[
f(x,y) := \frac{xy}{x^2 + y^2}
\](a) 試證 $(D_1 f)(x,y)$ 與 $D_2 f (x,y) $ 在 $\mathbb{R}^2$ 中每一點皆存在。
(b) 試證 $f$ 在 $(0,0)$ 處並不連續。

Proof:
注意到 $f: \mathbb{R}^2 \to \mathbb{R}^1$ ;故我們可利用偏導數定義計算 $(D_1 f)(x,y)$ 與 $D_2 f (x,y) $:首先令 $(x,y) \neq (0,0)$可知
\[\begin{array}{l}
{D_1}f\left( {x,y} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x + h,y} \right) - f\left( {x,y} \right)}}{h}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \mathop {\lim }\limits_{h \to 0} \frac{{\frac{{\left( {x + h} \right)y}}{{{{\left( {x + h} \right)}^2} + {y^2}}} - \frac{{xy}}{{{x^2} + {y^2}}}}}{h}\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \mathop {\lim }\limits_{h \to 0} \frac{{y\left[ {{y^2} - x\left( {x + h} \right)} \right]}}{{\left( {{{\left( {x + h} \right)}^2} + {y^2}} \right)\left( {{x^2} + {y^2}} \right)}} = \frac{{y\left( {{y^2} - {x^2}} \right)}}{{{{\left( {{x^2} + {y^2}} \right)}^2}}}
\end{array}\]同理,
\[{D_2}f\left( {x,y} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {x,y + h} \right) - f\left( {x,y} \right)}}{h}{\rm{ = }}\frac{{x\left( {{y^2} - {x^2}} \right)}}{{{{\left( {{x^2} + {y^2}} \right)}^2}}}\]上述兩 偏導數 在 $\mathbb{R}^2 \setminus (0,0)$ 處皆存在。接著我們計算 $(x,y)=(0,0)$ 處的偏導數。
\[\left\{ \begin{array}{l}
{D_1}f\left( {0,0} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {0 + h,0} \right) - f\left( {0,0} \right)}}{h} = \mathop {\lim }\limits_{h \to 0} \frac{{0 - 0}}{h} = 0\\
{D_2}f\left( {0,0} \right) = \mathop {\lim }\limits_{h \to 0} \frac{{f\left( {0,0 + h} \right) - f\left( {0,0} \right)}}{h} = \mathop {\lim }\limits_{h \to 0} \frac{{0 - 0}}{h} = 0
\end{array} \right.\]

(b) 我們要證 $f$ 在 ${\bf 0} := (0,0)$ 處並不連續。亦即 對 ${\bf 0}$ 而言, 要證明 存在 $\varepsilon >0$ 使得對任意 $\delta >0 $ 存在 ${\bf x}:= (x,y) \neq 0$ 使得
\[
||{\bf x} - {\bf 0}|| < \delta \text{ but }\; |f({\bf x}) - f({\bf 0})| \ge \varepsilon
\] 取 $\varepsilon :=1$ 且 $\delta>0$ 與 ${\bf x}:= (x,y) = (\delta/2,\delta/2) \neq 0$ 則可知
\[{\rm{but |}}f({\bf{x}}) - f({\bf{0}})| = \left| {\frac{{\frac{\delta }{2}\frac{\delta }{2}}}{{{{\frac{\delta }{2}}^2} + {{\frac{\delta }{2}}^2}}} - 0} \right| = \left| {\frac{1}{2} - 0} \right| = \frac{1}{2} > \frac{1}{4} = \varepsilon \]


=============
Theorem 1:
考慮 ${\bf f}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 且 $\bf f$ 在點 ${\bf x} \in E$處可導,則偏導數 $(D_jf_i)({\bf x})$ 存在且 偏導數完全決定了 ${\bf f}'({\bf x})$:亦即
\[{\bf{f}}'\left( {\bf{x}} \right){{\bf{e}}_j} = \sum\limits_{i = 1}^m {\left( {{D_j}{f_i}} \right)\left( {\bf{x}} \right){{\bf{u}}_i}} ,\begin{array}{*{20}{c}}
{}
\end{array}\left( {1 \le j \le n} \right)\]=============

Proof: omitted.

上述定理可以讓我們將 Linear operator ${\bf f}'({\bf x})$ 表達成矩陣的形式:
\[{\bf{f}}'\left( {\bf{x}} \right) = {\left[ {\begin{array}{*{20}{c}}
{{D_1}{f_1}}&{{D_2}{f_1}}& \cdots &{{D_n}{f_1}}\\
{{D_1}{f_2}}&{{D_2}{f_2}}& \cdots &{{D_n}{f_2}}\\
 \vdots &{}& \ddots & \vdots \\
{{D_1}{f_m}}&{}& \cdots &{{D_n}{f_m}}
\end{array}} \right]_{n \times m}}\]

現在我們看個重要的結果:
=============
Theorem 2: 假設 $\bf f$ 為 map 由 convex open set $E \subset \mathbb{R}^n \to \mathbb{R}^m$,且 $\bf f$ 在 $E$ 上可導,且存在 $M \in \mathbb{R}$ 使得 對任意 $\bf x$ $\in E$, 其 operator norm $||{\bf f}'({\bf x})|| \le M$ 則 對任意 $\bf a,b$ $\in E$,
\[||{\bf{f}}({\bf{b}}) - {\bf{f}}\left( {\bf{a}} \right)|| \le M||{\bf{b}} - {\bf{a}}||
\]=============

Proof:
我們要證明 $||{\bf{f}}({\bf{b}}) - {\bf{f}}\left( {\bf{a}} \right)|| \le M||{\bf{b}} - {\bf{a}}||$

注意到 $E$ 為 convex open set,故我們可利用 convexity 定義,現在對 任意點  $\bf x:=\gamma(t)$ $\in E$,與任意 $t \in [0,1]$ 可取
\[{\bf{x}}: =\gamma(t)= \left( {1 - t} \right){\bf{a}} + t{\bf{b}}\]現在若我們定義 ${\bf{g}}\left( t \right): = {\bf{f}}\left( {\gamma \left( t \right)} \right)$ 則由於 $\gamma$ 在 $(a,b)$ 可導(因為 $\gamma$ 為線性方程 ) 且 $\bf f$ 亦在  $(a,b)$ 可導(由假設可知) ;故可利用 Chain Rule \[\begin{array}{l}
{\bf{g}}'\left( t \right): = {\bf{f}}'\left( {\gamma \left( t \right)} \right)\gamma '\left( t \right) = {\bf{f}}'\left( {\gamma \left( t \right)} \right)\left( {{\bf{b}} - {\bf{a}}} \right)\\
 \Rightarrow \left\| {{\bf{g}}'\left( t \right)} \right\| \le \left\| {{\bf{f}}'\left( {\gamma \left( t \right)} \right)} \right\|\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\| \le M\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\|
\end{array}\]上式對 $t \in [0,1]$ 成立,故由 Mean Value Theorem 可知
\[\left\| {{\bf{g}}\left( 1 \right) - {\bf{g}}\left( 0 \right)} \right\| \le M\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\| \ \ \ \  (\star)
\]但注意到
\[{\bf{g}}\left( t \right): = {\bf{f}}\left( {\gamma \left( t \right)} \right) \Rightarrow \left\{ \begin{array}{l}
{\bf{g}}\left( 1 \right): = {\bf{f}}\left( {\gamma \left( 1 \right)} \right) = {\bf{f}}\left( {\bf{b}} \right)\\
{\bf{g}}\left( 0 \right): = {\bf{f}}\left( {\gamma \left( 0 \right)} \right) = {\bf{f}}\left( {\bf{a}} \right)
\end{array} \right.\]故 $(\star)$ 可改寫為 $\left\| {{\bf{f}}\left( {\bf{b}} \right) - {\bf{f}}\left( {\bf{a}} \right)} \right\| \le M\left\| {\left( {{\bf{b}} - {\bf{a}}} \right)} \right\|$ $\ \ \ \ \ \square$

Corollary:
若 $\bf f'$ $({\bf x}) = \bf 0$ 對任意 $\bf x $ $\in E$,則 $\bf f$ 為常數。

Proof:
要證明 $M=0$ 即可。但注意到前述 Theorem 中對於 $M$ 假設亦包含 $0$ 故證畢。 


現在我們可以開始將導數 與 偏導數 之間性質做連結,注意到 如果一個 函數的 導數 存在且該導數連續,我們是否可以說其 偏導數存在 且 連續呢? 同樣的如果 偏導數存在 且 連續,可否說函數的導數存在且連續? 此答案記做下面的定理 Theorem 4

不過在給出 Theorem 4 之前,我們需要一些定義 何謂導數存在且導數連續:

===========
Definition: f is $C^1$ function
考慮函數 $\bf f$ $E \to \mathbb{R}^m$ 在 $E$ 上可導 且 $\bf f'$ $: E \to L(\mathbb{R^n},\mathbb{R}^m)$ 為連續函數,則我們說此函數 $\bf f$ $ \in C^1(E)$。

Definition: f' is continuous
我們稱 函數 $\bf  f'$ $: E \to L(\mathbb{R^n},\mathbb{R}^m)$  為連續函數 若下列條件成立:
對任意 $\bf x$ $\in E$,且任意 $\varepsilon >0$, 存在 $\delta >0$ 使得 對 $\bf y$ $\in E$,我們有
\[||{\bf{x}} - {\bf{y}}|| < \delta  \Rightarrow ||{\bf{f}'}\left( {\bf{x}} \right) - {\bf{f}'}\left( {\bf{y}} \right)|| < \varepsilon \]===========

Comments:
注意到 上述定義中 由於 $\bf x,y$ $\in E$,故其 norm 為定義在 $E$上的 norm ;但是 $\bf f'$ 為 linear operator 故其 norm $||{\bf{f}}\left( {\bf{x}} \right) - {\bf{f}}\left( {\bf{y}} \right)|{|_L} < $ 為 operator norm。亦即 \[||{\bf{f}'}\left( {\bf{x}} \right) - {\bf{f}'}\left( {\bf{y}} \right)|{|_L}: = \mathop {\sup }\limits_{{\bf{h}} = 1} ||{\bf{f}'}\left( {\bf{x}} \right){\bf{h}} - {\bf{f}'}\left( {\bf{y}} \right){\bf{h}}||\]


現在我們可以給出 Theorem 4:偏導數存在 且 連續,若且唯若 函數的導數存在且連續

Theorem 4:
若 $\bf f$ $:E \subset{\mathbb{R}^n} \to \mathbb{R}^m$,則 $\bf f$ $\in C^1(E)$ 若且唯若 其偏導數 $D_j f_i({\bf x})$ 存在 且連續。

Proof: omitted

[數學分析] 淺論 Arzela-Ascoli Theorem

這次要介紹一個好用的定理:稱作 Arzela-Ascoli Theorem ,此定理提供了何時可以說某 函數所構成的集合 為 totally bounded 的 充分必要條件

========================
Theorem: Arzela-Ascoli Theorem
令 $K$ 為 compact ,考慮 collection of functions $\mathcal{F} \subset C(K)$ 為 totally bounded 若且唯若
    1. $\mathcal{F}$ 為 point-wise bounded
        ( $ \forall x$,$\exists M(x)$ 使得對任意 $f(x) \in \mathcal{F}$, $|f(x)| \le M(x)$)
    2.  $\mathcal{F}$ 為 equicontinuous。
         $(\; \forall \varepsilon>0$,$\exists \delta>0$ 使得對任意 $x,z \in K$,
$$|x-z| < \delta \Rightarrow |f(x) - f(z)| < \varepsilon, \;\;\;\;\; \forall f \in \mathcal{F}\;)$$

========================

Comment: 
判斷 Equicontinuouity 的方法除了前述定義法之外,還可用 uniform convergence sequence 定義;亦即 有兩種 判斷 Equicontinuouity 的方法:
1. 由定義
2. 若 $K$ 為 compact metric space 且對任意 $n \in \mathbb{N}$,$f_n \in C(K)$ 且 $\{f_n\}$ converges uniformly on $K$ 則 $\{f_n\}$ 為 equicontinuous on $K$。

=============
Corollary: 一個 closed $\mathcal{F} \subset C(K)$ 為 compact 若且為若 $\mathcal{F}$ 為 pointwise-bounded 與 equicontinuous。
=============
Proof: omitted (immediate from Arzela-Ascoli Theorem)


現在我們看個例子:

Example
考慮 $T \in C([0,1])$ 且定義為
\[T[f](x): = \int_0^x f (t)dt
\]考慮任意有界集合 $A \subset C([0,1])$,我們可定義 $B:= \{Tf: f \in A\}$ ,試利用 Arzela-Ascoli Theorem 證明其  closure $\bar B$ 為 compact。

Proof:
要證明其  $B$ 為 compact。故我們需要證明其為 totally bounded + complete。首先注意到 $B \subset C([0,1])$ 為 complete (因為 $\bar B$ 為 closed,且 $C([0,1])$ 為 complete space,故 complete space 中的 closed subset 必為 complete   )。故我們僅須證明 $B$ 為 totally bounded :由 Arzela-Ascoli Theorem 可知我們須證明     1. $B$ 為 point-wise bounded ;2.  $B$ 為 equicontinuous。

首先證明 $B$ 為 point-wise bounded:
給定任意 $x \in [0,1]$ 我們需要證明 存在 $M(x)$ 使得對任意 $Tf \in B$ $|Tf(x)| \le M(x)$ ;觀察
\[\left| {T[f](x)} \right|: = \left| {\int_0^x f (t)dt} \right| \le \left\| f \right\|1: = M\]

接著我們證明 $B$ 為 equicontinuous。給定 $\varepsilon>0$ 要證明 $\delta>0$ 使得對任意 $f,g\in A$,$||f-g|| < \delta \Rightarrow ||Tf - Tg| |< \varepsilon, \;\;\;\;\; \forall T \in \mathcal{B}\;)$
\[\begin{array}{l}
\left\| {T[f] - T[g]} \right\| = \sup \left| {\int_0^x {f(t)} dt - \int_0^x {g(t)} dt} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = \sup \left| {\int_0^x {f(t) - g\left( t \right)} dt} \right| \le \left\| {f - g} \right\|
\end{array}\]若我們選 $\delta:=\varepsilon/(2||f-g||) $ 則可證得
\[\left\| {T[f] - T[g]} \right\| \le \left\| {f - g} \right\| < \delta  = \frac{\varepsilon }{2} < \varepsilon \]故總結以上,由 Arzela-Ascoli 可知 $B$ 為 totally bounded 且 complte (由最先前的推導) 故由 compact 等價定義可知 $B$ 為 compact。

[數學分析] 淺論收縮寫像定理-Contraction Principle

這次要介紹 收縮寫像定理 (Contraction Principle) 此為分析學中非常強大的工具。最大的應用是用來證明 微分方程 ODE 的解存在性與唯一性。我們在此將簡介此定理,介紹之前我們先介紹甚麼叫做 contraction ?


=============================
Definition: Contraction
令 $(X,d)$ 為 metric space。
我們說一個函數 $\Phi: X \to X$ 為 contraction 若下列條件成立:
存在常數 $c$ 滿足 $0 \le c <1$ 且 $$d(\Phi(x), \Phi(y)) \le c \cdot d(x,y)
$$
=============================

Comments: 
1. 注意到我們要求常數 $c <1$ !! (不可等於 $1$)
2. 上述定義中的 $d(\cdot, \cdot)$ 為 $X$ 上 metric 。


現在我們看一些例子讓我們熟悉上述的定義

Example 1: 考慮 $\mathbb{R}$ 且裝備標準 metric 作為 metric space。試判斷 $f: \mathbb{R} \to \mathbb{R}$ 且
\[
f(x) := x+1
\]是否為 contraction?

Proof:
為了要判斷 $f$ 是否為 contraction,我們直接檢驗其 metric:
\[\begin{array}{l}
d\left( {f\left( x \right),f\left( y \right)} \right): = \left| {f\left( x \right) - f\left( y \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = \left| {x + 1 - \left( {y + 1} \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = 1 \cdot \left| {x - y} \right|
\end{array}\]注意到 上式中 $c:=1$ 不滿足 contraction 定義。故此函數 $f$ 不為 contraction。$\square$

Example 2: 考慮 $g: I \to I$ 其中 $I:=[0,a], \; a\in \mathbb{R}$且
\[
g(x) := x^2
\]試找出 $a$ 參數使得 $g$ 為 contraction。

Proof:
我們檢驗 metric :
\[\begin{array}{l}
d\left( {g\left( x \right),g\left( y \right)} \right): = \left| {g\left( x \right) - g\left( y \right)} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {{x^2} - {y^2}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {x + y} \right|\left| {x - y} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le \left| a \right|\left| {x - y} \right|
\end{array}\]可看出 $c:= |a|$ ,若我們希望 $g$ 為 contraction 則選 $|a| < 1$即可。 $\square$



如果一個函數為 contraction 有甚麼用呢?? 用處是可以幫我們不斷的 "收縮" 函數 最終收到某個 不動點 (fixed point)。 不過該如何辦到這件事? 我們要先引入 函數的 n-th iteration 。

=============================
Definition: n-th iteration of a function
我們稱 $f^n(a)$ 為函數 $f$ 在 $a$ 點的 n-th iteration 定義為
\[{f^n}(a): = \underbrace {f \circ f \circ ...f(a)}_{n{\rm{ - }}times}
\]=============================


利用上述定義我們可以建構 sequence $\{a_n\}$ 且 $a_n := f^n(a)$

現在回頭看前面兩個例子,

--------------------------
Example 1 (continued)
回憶 Example 1 中的 $f(x) = x+1$;令 $x:=a=0$ 試問 若讓 $n \rightarrow \infty$,函數 sequence $\{a_n\} = \{f^n(0)\}$ 的極限為何?
--------------------------
Proof:
我們首先觀察 $f$ 的 n-th iteration:
\[\left\{ \begin{array}{l}
f\left( x \right) = x + 1\\
{f^2}\left( x \right) = f\left( {f\left( x \right)} \right) = f\left( x \right) + 1 = x + 2\\
{f^3}\left( x \right) = {f^2}\left( {f\left( x \right)} \right) = f\left( x \right) + 2 = x + 3\\
\begin{array}{*{20}{c}}
{}&{}
\end{array} \vdots \\
{f^n}\left( x \right) = x + n
\end{array} \right.\]故若 $a=0$ 我們得到
\[
f^n(0) = n
\]現在讓 $n \rightarrow \infty $,可推得 $f^n(0) \to \infty$

--------------------------
Example 2 (continued)
回憶 Example 2 中的 $g(x) = x^2$;令 $|a|<1$ 試問 若讓 $n \rightarrow \infty$,函數 sequence $\{a_n\} = \{g^n(0)\}$ 的極限為何?
--------------------------
Proof:
觀察 $g$ 的 n-th iteration
\[\left\{ \begin{array}{l} g\left( x \right) = {x^2}\\ {g^2}\left( x \right) = g\left( {g\left( x \right)} \right) = {x^4}\\ \begin{array}{*{20}{c}} {}&{} \end{array} \vdots \\ {g^n}\left( x \right) = {x^{2n}} \end{array} \right.
\]故若 $|a|<1$ 讓 $n \to \infty$ 我們可得 $g^n(a) \to 0$。因此 $g^n(0) =0$。


==========================
Theorem: 收縮寫像定理 Contraction Principle
若 $(X,d)$ 為 complete metric space 且 $\Phi$ 為 contraction on $X$,則
$\Phi$ 有 唯一 不動點 $x^*$ (unique fixed point);亦即 存在 $x^* \in X$ 使得 $\Phi(x^*) = x^*$
==========================
Proof: omitted.

Comments:
1. 收縮寫像定理要求  1. completeness 2. 要有 contraction $\Phi :X \to X$。
2. 注意到 若條件為 $X$ compact 則 contraction principle 亦為成立 (因為 compact = totally bounded + complete)


現在看幾個 contraction principle 的應用:

==========================
Corollary: 令 $\Phi : X \to X$ 為 contraction 且 $X$ 為 complete。若 $\Phi^N$ 為 N-th iterate of $\Phi$ 且 $\Phi^N$ 仍為 contraction,則 $\Phi$ 具有 唯一的固定點。亦即 存在 $x^*$ 使得 $\Phi(x^*) = x^*$ 
==========================

Proof:
我們要證明 存在 $x^*$ 使得 $\Phi(x^*) = x^*$ 

由於 $\Phi^N$ 為 contraction,由 contraction principle 可知 $\Phi^N$ 有 唯一 不動點,我們記做 $\bar x$,亦即
\[{\Phi ^N}\left( {{\bar x}} \right) = {\bar x} \ \ \ \ (*)
\]如果我們在跌代一次  可得\[
{\Phi ^N}\left( {\Phi \left( {{\bar x}} \right)} \right) = \Phi \left( {{ \bar x}} \right)  \ \ \ \ (\star)
\] 觀察 $(*)$ 與 $(\star)$ 可知若我們令 $x^* := \Phi(\bar x)$ 即為其唯一的不動點。$\square$



Example 3: 考慮 $T \in C([0,1])$ 定義如下:
\[
T[f](x) := \int_0^x f(t) dt
\]試證 $T$ 有 唯一固定點。

Proof:
注意到 $C([0,1])$ 為 complete space,故我們只須證明 $T[f](x) := \int_0^x f(t) dt $ 為 contraction。回憶 $C([0,1])$ 上的 metric 為 supnorm 故現在觀察
\[\begin{array}{l} \left\| {T[f] - T[g]} \right\| = \mathop {\sup }\limits_x \left| {T[f](x) - T[g](x)} \right|\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{} \end{array} = \left| {\int_0^x f (t)dt - \int_0^x g (t)dt} \right|\\ \begin{array}{*{20}{c}} {}&{}&{}&{}&{}&{} \end{array} = \left| {\int_0^x {f(t) - g(t)} dt} \right| \le \int_0^x {\left| {f(t) - g(t)} \right|} dt \le \left\| {f - g} \right\|x \end{array}
\] 故選 $c:=x$ 滿足 $0\le x<1$ 即可說 $T$ 為有唯一固定點。利用 contraction principle 可知其具備唯一固定點。 


Example 4
令 $K$ 為 compact metric space 且其中至少包含兩相異點,現在令 $\Phi : K \to K$ 為 contraction。試證 $\Phi$ 並非 onto。

Proof:
令 $K$ 為 compact metric space 且其中至少包含兩相異點,要證明  $\Phi$ 並非 onto;亦即 存在 $x^* \in K$ 使得 $\forall x \in K$,$\Phi(x) \neq \Phi(x^*)$。
首先 注意到由於 $K$ 為 compact  且 $\Phi : K \to K$ 為 contraction,由 contraction principle 可知存在唯一固定點 $x^*$ 使得 $\Phi(x^*) = x^*$,由於此固定點為唯一 且 $K$ 至少有兩相異點,此暗示了對任意  $ x \in K$,$\Phi(x) \neq \Phi(x^*)$。


[機率論] 特性函數(1) - Properties

給定隨機變數 $X$,我們可以定義其對應的特性函數 (characteristic function) 如下: \[
\phi_X(t):= E [e^{itX}]
\]
Comment: 
1. 特性函數可視為 Fourier Transform。
2. 特性函數只與 $X$ 的 distribution 有關。
3. 特性函數滿足下列關係:$\phi(0)=1 $ 且
\[\left| {{\phi _X}(t)} \right| = \left| {E[{e^{itX}}]} \right| \le E\left[ {\left| {{e^{itX}}} \right|} \right] \le 1\]
4. 特性函數為 uniformly continuous on $\mathbb{R}$。亦即
對任意  $t \in \mathbb{R}$,我們有
\[\begin{array}{l}
\left| {\phi \left( {t + h} \right) - \phi \left( t \right)} \right| = \left| {E{e^{i\left( {t + h} \right)X}} - E{e^{i\left( t \right)X}}} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} = \left| {E\left[ {{e^{i\left( t \right)X}}\left( {{e^{i\left( h \right)X}} - 1} \right)} \right]} \right|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}
\end{array} \le E\left[ {\left| {{e^{i\left( t \right)X}}\left( {{e^{i\left( h \right)X}} - 1} \right)} \right|} \right] \to 0 \;\;  \text{as  $\; h \downarrow 0$}
\end{array}\]上述極限成立因為 Dominated Convergence Theorem。
5. 若對任意 $t \in \mathbb{R}$ n-th moment 皆存在 則
\[{\phi _X}\left( t \right) = E{e^{itX}} = \sum\limits_{k = 0}^\infty  {\frac{{E\left[ {{{\left( {itX} \right)}^k}} \right]}}{{k!}}} \]
且若 $E|X|^n <\infty$ 我們亦可對其 Taylor Expansion around $t=0$ 亦即
\[{\phi _X}\left( t \right) = \sum\limits_{k = 0}^n {\frac{{E\left[ {{{\left( {itX} \right)}^k}} \right]}}{{k!}}}  + o\left( {{t^n}} \right)\]

Example: 若給定 隨機變數 $X,Y$ 且 $X,Y$ 彼此互為獨立,現在定義 $Z:=X+Y$,試求其 特性函數 $\phi_{Z}(t) =?$

由特性函數定義:
\[\begin{array}{l}
{\phi _Z}(t) = E\left[ {{e^{itZ}}} \right] = E\left[ {{e^{it\left( {X + Y} \right)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{e^{it\left( X \right)}}{e^{it\left( Y \right)}}} \right]
\end{array}\]由於 $X$ 與 $Y$ 互為獨立,故
\[{\phi _Z}(t) = E\left[ {{e^{it\left( X \right)}}{e^{it\left( Y \right)}}} \right] = E\left[ {{e^{it\left( X \right)}}} \right]E\left[ {{e^{it\left( Y \right)}}} \right] = {\phi _X}(t){\phi _Y}(t)\]

Example: 現在考慮 隨機變數 sequence $\{X_i\}$ 為 i.i.d. ,現在定義 $S_n:=X_1+X_2+...+X_n$,試求其 特性函數 $\phi_{S_n}(t) =?$
Solution
\[\begin{array}{l}
{\phi _{{S_n}}}(t) = E\left[ {{e^{it{S_n}}}} \right] = E\left[ {{e^{it\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{e^{it\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right]

\end{array}\]由於 $\{X_i\}$ 為 i.i.d.,故其具有共同的 distribution,又 特性函數完全由 distribution 決定,故可知 $\phi_{X_1} = \phi_{X_2} = ... \phi_{X_n} := \phi$
\[{\phi _{{S_n}}}(t) = E\left[ {{e^{it\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right] = \prod\limits_{i = 1}^n {\underbrace {E\left[ {{e^{it\left( {{X_i}} \right)}}} \right]}_{ = \phi (t)}}  = {\left( {\phi (t)} \right)^n}\]

Example: 同上題,考慮 隨機變數 sequence $\{X_i\}$ 為 i.i.d. ,並定義 $S_n:=X_1+X_2+...+X_n$,試求其 特性函數 $\phi_{S_n/n}(t) =?$

Solution
\[\begin{array}{l}
{\phi _{{S_n}/n}}(t) = E\left[ {{e^{it\frac{{{S_n}}}{n}}}} \right] = E\left[ {{e^{it\left( {\frac{{{X_1} + {X_2} + ... + {X_n}}}{n}} \right)}}} \right]\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array} = E\left[ {{e^{i\frac{t}{n}\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right]
\end{array}\]由於 $\{X_i\}$ 為 i.i.d.,故其具有共同的 distribution,又 特性函數完全由 distribution 決定,故可知 $\phi_{X_1} = \phi_{X_2} = ... \phi_{X_n} := \phi$:
\[{\phi _{{S_n}/n}}(t) = E\left[ {{e^{i\frac{t}{n}\left( {{X_1} + {X_2} + ... + {X_n}} \right)}}} \right] = \prod\limits_{i = 1}^n {\underbrace {E\left[ {{e^{i\frac{t}{n}\left( {{X_i}} \right)}}} \right]}_{ = \phi (\frac{t}{n})}}  = {\left( {\phi (\frac{t}{n})} \right)^n}\]

FACT:
若 $E|X|^2 < \infty$,則 $\varphi(t) = 1 + it EX - t^2 \frac{E[(itX)^2]}{2}+o(t^2)$

Proof:
事實上,由 先前的 comment 5 可知
\[{\phi _X}\left( t \right) = 1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}} + o\left( {{t^2}} \right) + H.O.T.\]但我們僅有假設 $E|X|^2 < \infty$ 故高階項不保證有界。

但所幸我們仍有以下不等式
\[E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \le E\left[ {\min \left\{ {{{\left| {tX} \right|}^3},2{{\left| {tX} \right|}^2}} \right\}} \right]\]且我們可進一步確認其具有上界為
\[E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \le E\left[ {\min \left\{ {{{\left| {tX} \right|}^3},2{{\left| {tX} \right|}^2}} \right\}} \right] \le E\left[ {{{\left| {tX} \right|}^2}} \right]\]故由 Dominated Convergence Theorem 可知
\[\begin{array}{l}
E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \le E\left[ {\min \left\{ {{{\left| {tX} \right|}^3},2{{\left| {tX} \right|}^2}} \right\}} \right] \le E\left[ {{{\left| {tX} \right|}^2}} \right]\\
 \Rightarrow E\left| {{e^{itX}} - \left( {1 + itE\left[ X \right] - \frac{{{t^2}E\left[ {{X^2}} \right]}}{{2!}}} \right)} \right| \to 0
\end{array}\]

2010年12月13日 星期一

[數學分析] 函數的 不連續性

令函數 $f: X \to Y$ 且 $x \in X$ 為其 domain 中一點 使得 $f$ 在該點不連續。則我們稱 函數$f$ 在此點 $x$ 不連續 ($f$ is discontinuous at $x$)。 比如說,我們看下圖,可發現該函數在 $x_0$ 處不連續 (函數圖形在 $x_0$點發生不連續, but 左右極限相等)

https://zh.wikipedia.org/wiki/%E4%B8%8D%E8%BF%9E%E7%BB%AD%E7%82%B9#mediaviewer/File:Discontinuity_removable.eps.png


一般而言如果 $f$ 是透過 "分段"定義,都會有不連續問題存在。不過在此之前我們需要一些先導觀念幫助我們:亦即所謂的 左極限 (left-limits of $f$ at $x$, $f(x-)$) 與 右極限 (right-limits of $f$ at $x$, $f(x+)$)

===================
Definition: Right-Limit 
令 $f$ 定義在 $(a,b)$ 上 ,考慮任意點 $x$ 使得 $a \le x < b$,我們說 $f$在 $x$ 點處 右極限存在 (記做 $f(x+) = q$ ) 若下列條件成立:
對任意 sequence $\{t_n\} \subset (x,b)$ 使得 $t_n \to x$ ,$f(t_n) \to q$ 當 $n \to \infty$

Definition: Left-Limit
令 $f$ 定義在 $(a,b)$ 上,考慮任意點 $x$ 使得 $a < x \le b$,我們可寫  $f$在 $x$點左極限 存在 (記做 $f(x-) = q$ ) 若下列條件成立:
對任意 sequence $\{t_n\} \subset (a,x)$ 使得 $t_n \to x$ ,$f(t_n) \to q$ 當 $n \to \infty$
===================

Comments:
一般而言,常見的寫法還有
\[\left\{ \begin{array}{l}
f(x + ) = \mathop {\lim }\limits_{t \searrow x} f\left( t \right) = \mathop {\lim }\limits_{t \to {x^ + }} f\left( t \right)\\
f(x - ) = \mathop {\lim }\limits_{t \nearrow x} f\left( t \right) = \mathop {\lim }\limits_{t \to {x^ - }} f\left( t \right)
\end{array} \right.\]

===================
FACT:
對任意 $ x \in (a,b)$, $\lim_{t \to x} f(t)$ 存在 若且為若
\[
f(x+ ) = f(x - ) = \lim_{t \to x} f(t)
\]===================
Proof: omitted.

Comment:
1. 上述 FACT 只保證 左右極限 相等 等價 極限存在,但並沒有 "任何" 對於 連續性的推論!! 簡而言之,某函數的極限在某點存在 (or 左右極限在某點存在且相等) 不保證 函數在該點連續!!。

2. [直覺] 連續函數可以容忍函數被某些點被 折,但不允許 折!! 如果一旦發生折斷即為不連續函數。



有了以上左右極限的觀念,我們可以開始討論 不連續性質:

===================
Definition: Classification of Discontinuity
令函數 $f$ 定義在 $(a,b)$ 上,若 $f$ 在點 $x$ 處不連續 且 若 $f(x+)$ 與 $f(x-)$ 存在,則我們稱 $f$ 為 simple discontinuity at $x$。(或稱 $f$ 有 discontinuity of the first kind。)
其餘的不連續則統稱為 discontinuity of the second kind
===================

Comments:
簡潔判斷 discontinuity of the first kind 的方法:檢驗其是否 左右極限存在


以下我們看幾個例子:

Example 1: First Kind Discontinuous Function
定義
\[f\left( x \right): = \left\{ \begin{array}{l}
1,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x\begin{array}{*{20}{c}}
{}
\end{array}rational} \right)\\
0,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x\begin{array}{*{20}{c}}
{}
\end{array}irrational} \right)
\end{array} \right.\]試證明 $f$ 為 discontinuity of the second kind

Proof:
讀者應可判斷此函數 $f$ 已為不連續函數,剩下的只需判斷是 first kind 或者 second kind。 故選任意點 $x$,注意到對任意點而言,$f(x+)$ 與 $f(x-)$ 皆不存在!(會在 $0,1$ 之間震盪) 故不滿足 first kind 不連續性,我們可推知其必為 discontinuity of the second kind。$\square$

Example 2: First Kind Discontinuous Function
考慮
\[f\left( x \right): = \left\{ \begin{array}{l}
x + 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( { - 3 < x <  - 2} \right)\\
 - x - 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( { - 2 \le x < 0} \right)\\
x + 2,\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {0 \le x < 1} \right)
\end{array} \right.\]則如果我們繪製出函數圖形可看出

直覺檢驗 (NOT PROOF):可發現函數在 $x=0$處 發稱間斷! (不連續在此點產生);另外此函數在 $x \in (-3,1)$ 處均為連續函數 (因為此函數只有被折但沒有發生 "折斷"。)$\square$


Example 3: Second Kind Discontinuous Function
\[f\left( x \right): = \left\{ \begin{array}{l}
\sin \left( {\frac{1}{x}} \right),\begin{array}{*{20}{c}}
{}&{}
\end{array}\left( {x \ne 0} \right)\\
0,\begin{array}{*{20}{c}}
{}&{}&{}&{}
\end{array}\left( {x = 0} \right)
\end{array} \right.\]
則如果我們繪製出函數圖形可看出

可以發現在 $x=0$ 處,圖形劇烈震盪。若我們檢驗其 $f(x+)$ 與 $f(x-)$ 可知其皆不存在。故函數在 $x=0$處為 second kind discontinuous,但 除了 $x=0$以外其餘點皆連續 (因為 $ \sin (\cdot)$ 函數為連續函數)。$\square$

我們現在將不連續
以下我們看個結果:

Theorem:
令 $f$ 為 $(a,b)$ 上 實數單調遞增函數 (monotonically increasing on $(a,b)$),則對任意 $x \in (a,b)$ 其左右極限 $f(x+)$ 與 $f(x-)$ 存在。亦即
\[\mathop {\sup }\limits_{a < t < x} f\left( t \right) = f\left( {x - } \right) \le f\left( x \right) \le f\left( {x + } \right) = \mathop {\inf }\limits_{x < t < b} f\left( t \right)\]且若 $a < x < y < b$ 則
\[
f(x+) \le f(y-)
\]
Proof: omitted. see Rudin. Mathematical Analysis 3rd, Chapter 4.


Theorem: 令 $f$ 為 $(a,b)$ 上 實數單調遞增函數 (monotonically increasing on $(a,b)$),則 $f$ 在 $(a,b)$ 中的不連續點 個數最多僅有 countably many。

Proof:
令 $f$ 為 $(a,b)$ 上 遞增函數 (increasing on $(a,b)$)且定義集合 $E$ 為所有 $(a,b)$區間上的點使 $f$ 不連續 所形成的集合
\[E: = \left\{ {x \in \left( {a,b} \right):f\begin{array}{*{20}{c}}
{}
\end{array}{\rm{is}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{discontinuous}}\begin{array}{*{20}{c}}
{}
\end{array}{\rm{at}}\begin{array}{*{20}{c}}
{}
\end{array}x} \right\}\]由 (前述 Theorem )可知 $f$ 為 $(a,b)$ 上 遞增函數 (increasing on $(a,b)$),則對任意 $x \in (a,b)$ 其左右極限 $f(x+)$ 與 $f(x-)$ 存在 且下列關係成立
\[f\left( {x - } \right) \le f\left( y \right) \le f\left( {x + } \right)\]

現在對任意 $x \in E$,由於 $f(x) $ 為實數函數,利用 實數稠密性質,我們可指派 有理數 $ r(x) $ 使得
\[f\left( {x - } \right) \le r\left( x \right) \le f\left( {x + } \right) \ \ \ \ (*)
\]利用遞增性質 可知 $x_1< x_2 \Rightarrow f(x_1) < f(x_2)$ 故再利用前述 Theorem 可知
\[\begin{array}{l}
{x_1} < {x_2} \Rightarrow f({x_1}) < f({x_2})\\
 \Rightarrow f({x_1} + ) \le f({x_2} - ) \ \ \ \ (**)
\end{array}\] 現在比較 $(*)$ 與 $(**)$ 可推知
\[{x_1} \ne {x_2} \Rightarrow r\left( {{x_1}} \right) \ne r\left( {{x_2}} \right)\]上式表示我們建構了 集合 $E$ 與 $\mathbb{Q}$ 之間為 one-to-one (by definition)。故可知 $E$中 不連續點 最多 countably many 個。 $\square$

2010年12月12日 星期日

[數學分析] 淺論多變數函數的全導數

首先回憶 單變數 函數的導數定義

若 $f : (a,b) \subset \mathbb{R} \to \mathbb{R}$ 為 實數函數 若 $x \in (a,b)$ 則其 導數
\[
f'(x) := \lim_{h \to 0}\frac{f(x+h) - f(x)}{h}
\]

上述的單變數函數導數雖然直覺,但是若我們想要拓展到多變數情況的時候便會面臨一些問題,比如說上述導數定義需要除以 $h $ 但如果我們現在考慮 多變數 的時候此時分母 $h$ 會變成向量 $\bf h$ 此時我們該怎麼處理 "除以一個向量" 這類的問題。

想法如下:取 norm $||\cdot||$ 將向量變回單變數。

==================
Definition: Differentiable at point ${\bf x}$
我們稱函數 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ ($E$ 為 open) 為在 ${\bf x} \in \mathbb{R}^n$ 可微,若下列條件成立:
存在 Linear Transformation $L \in \mathcal{L}(\mathbb{R}^n, \mathbb{R}^m)$ 使得
\[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\]且我們稱 ${\bf f}$ 為在  ${\bf x} \in \mathbb{R}^n$ 可微且記做 ${\bf{f}}'\left( {\bf{x}} \right) = L$
==================

==================
Definition: Differentiable on an open set $E$
若 ${\bf{f}}: E \subset \mathbb{R}^n \to \mathbb{R}^m$ 且 $E$ open,則我們說 ${\bf{f}}$ 在 differentiable on $E$ 若 對任意 ${\bf{x}} \in E$,${\bf{f}}$ 都在 ${\bf{x}}$ 上可微。
==================

Comments:
1. 若 $\bf f$ 為在 open set $E$ 上 可導,則我們視為 ${\bf f}' : E \to L(\mathbb{R}^n, \mathbb{R}^m)$

2. 前述定義中線性算子 $L  ={\bf f}'({\bf x})$ 通常又記做 $D_{\bf x} {\bf f}$ ;我們稱此算子為 total derivative 或者 differential at point $\bf x$


現在我們看幾個例子:
-----
Example 1. What is the Derivative of a Linear Operator?
令 ${\bf f}: \mathbb{R}^n \to \mathbb{R}^m$ 且 ${\bf f}({\bf x}) = A{\bf x}$,其中 $A$ 為 Linear operator (事實上 $A$ 為 $m \times n$ 的矩陣)。試問 ${\bf f}'({\bf x}) =?$
-----
Solution:
由定義可知我們需要
\[\mathop {\lim }\limits_{{\bf{h}} \to {\bf{0}}} \frac{{\left\| {{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right) - {\bf{f}}'\left( {\bf{x}} \right){\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0\]故現在觀察
\[{\bf{f}}\left( {{\bf{x}} + {\bf{h}}} \right) - {\bf{f}}\left( {\bf{x}} \right) = A\left( {{\bf{x}} + {\bf{h}}} \right) - A\left( {\bf{x}} \right) = A{\bf{h}}\]可以發現若選 ${\bf{f}}'\left( {\bf{x}} \right) = A$ 即為所求。$\square$

-----
Example 2. 
令 ${\bf f}: \mathbb{R}^1 \to \mathbb{R}^n$ 且 \[{\bf{f}}({t}) = \left[ {\begin{array}{*{20}{c}}
1&t&{{t^2}}& \cdots &{{t^{n - 1}}}
\end{array}} \right]^T
\]試問 ${\bf f}'({\bf 0}) \in L(\mathbb{R}, \mathbb{R}^n)$ 為何?
-----
Solution:
注意到 ${\bf f}: \mathbb{R}^1 \to \mathbb{R}^n$,故由導數定義可知我們希望下式成立:
\[\mathop {\lim }\limits_{h \to 0} \frac{{\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\|}}{{\left\| h \right\|}} = 0\]注意到 $\bf f$ 為 $n \times 1$ 的向量,故
\[\begin{array}{*{20}{l}}
{{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) = {{\left[ {\begin{array}{*{20}{c}}
1&h&{{h^2}}& \cdots &{{h^{n - 1}}}
\end{array}} \right]}^T} - {{\left[ {\begin{array}{*{20}{c}}
1&0&0& \cdots &0
\end{array}} \right]}^T}}\\
{\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}
\end{array} = {{\left[ {\begin{array}{*{20}{c}}
0&h&{{h^2}}& \cdots &{{h^{n - 1}}}
\end{array}} \right]}^T}\;\;\;\;(*)}
\end{array}\]我們的目的是要找到 ${\bf f'}({\bf 0}) $ 使得
\[\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\| = 0\]故我們可將待求的導數寫做 ${\bf f'}({\bf 0}) := L = [l_1\;\;l_2\;\;...\;\; l_n]^T$ 其中 $l_1, l_2,...,l_n$ 為待定係數。則
\[\small{{\bf{f}}^\prime }\left( {\bf{0}} \right){\bf{h}} = {\left[ {\begin{array}{*{20}{c}}
{{l_1}}&{{l_2}}&{{l_3}}& \cdots &{{l_n}}
\end{array}} \right]^T}h = \left[ {\begin{array}{*{20}{c}}
{{l_1}h}\\
{{l_2}h}\\
 \vdots \\
{{l_n}h}
\end{array}} \right]\;\;\;\;({ \star })\]現在我們計算 (利用 FACT: 若 $A$ 為 linear operator,則 $||A {\bf x}|| \le ||A|| ||{\bf x}||$)
\[\begin{array}{l}
\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\| = \left\| {\left[ {\begin{array}{*{20}{c}}
0\\
h\\
{{h^2}}\\
 \vdots \\
{{h^{n - 1}}}
\end{array}} \right] - \left[ {\begin{array}{*{20}{c}}
{{l_1}h}\\
{{l_2}h}\\
{{l_3}h}\\
 \vdots \\
{{l_n}h}
\end{array}} \right]} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}&{}
\end{array} =\left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}h}\\
{h - {l_2}h}\\
{{h^2} - {l_3}h}\\
 \vdots \\
{{h^{n - 1}} - {l_n}h}
\end{array}} \right]} \right\| \le \left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}}\\
{{\rm{1}} - {l_2}}\\
{h - {l_3}}\\
 \vdots \\
{{h^{n - {\rm{2}}}} - {l_n}}
\end{array}} \right]} \right\|\left\| h \right\|
\end{array}
\]故選 $l_2 = 1$ 其餘 $l_i = 0, \;\; \forall i =1,..,n $ 則我們可得
\[\small \mathop {\lim }\limits_{h \to 0} \frac{{\left\| {{\bf{f}}\left( {0 + h} \right) - {\bf{f}}\left( 0 \right) - {\bf{f}}'\left( 0 \right)h} \right\|}}{{\left\| h \right\|}} \le \mathop {\lim }\limits_{h \to 0} \frac{{\left\| {\left[ {\begin{array}{*{20}{c}}
{ - {l_1}}\\
{{\rm{1}} - {l_2}}\\
{h - {l_3}}\\
 \vdots \\
{{h^{n - {\rm{2}}}} - {l_n}}
\end{array}} \right]} \right\|\left\| h \right\|}}{{\left\| h \right\|}}{\rm{ = }}\mathop {\lim }\limits_{h \to 0} \left\| {\left[ {\begin{array}{*{20}{c}}
{\rm{0}}\\
{\rm{0}}\\
h\\
 \vdots \\
{{h^{n - {\rm{2}}}}}
\end{array}} \right]} \right\|{\rm{ = 0}}
\]故 ${\bf{f}}'\left( 0 \right){\rm{ = }}{\left[ {\begin{array}{*{20}{c}}
{\rm{0}}&{\rm{1}}&{\rm{0}}& \cdots &{\rm{0}}
\end{array}} \right]^T}$ $\square$


Exercise:
令 函數 $\Phi: C([0,1]) \to C([0,1])$,且
\[
\Phi(f) := \int_0^x f(t) dt
\]試求其 total derivative $D_f \Phi =?$


讀者也許會認為 上述導數存在並不保證為唯一,但事實上 導數確實具備 uniqueness ,現在我們可以著手處理 uniqueness 問題。
==============
Theorem: ${\bf{f}}:E \subset \mathbb{R}^n \to \mathbb{R}^m$,$E$ 為 open,且假設 ${\bf f}$ 滿足  \[\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - L \cdot {\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} = 0
\] 且 $L=A_1$, $L= A_2$ 則 $A_1 = A_2$
==============
Proof:
我們要證明 $A_1 = A_2$,故 令 $B:= A_1 - A_2$ 只要證明 $B=0$即可 (注意! 此處 $0$ 表示 zero-operator ,故要證明對任意 ${\bf h} \in \mathbb{R}^n$,$B {\bf h} = 0$)。現在觀察
\[\begin{array}{l}
\left\| {B{\bf{h}}} \right\| = \left\| {\left( {{A_1} - {A_2}} \right){\bf{h}}} \right\| = \left\| {{A_1}{\bf{h}} - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} = \left\| {{A_1}{\bf{h}} - \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] + \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{A_1}{\bf{h}} - \left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right]} \right\| + \left\| {\left[ {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}})} \right] - {A_2}{\bf{h}}} \right\|\\
\begin{array}{*{20}{c}}
{}&{}&{}
\end{array} \le \left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_1}{\bf{h}}} \right\| + \left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_2}{\bf{h}}} \right\|
\end{array}\]故可推知
\[\small \mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {B{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}} \le \underbrace {\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_1}{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}}}_{ = 0} + \underbrace {\mathop {\lim }\limits_{{\bf{h}} \to 0} \frac{{\left\| {{\bf{f}}({\bf{x}} + {\bf{h}}) - {\bf{f}}({\bf{x}}) - {A_2}{\bf{h}}} \right\|}}{{\left\| {\bf{h}} \right\|}}}_{ = 0} = 0
\]故 $B$ 為 linear transformation,且注意到 對任意 ${\bf h} \neq {\bf 0}$ 我們有
\[
\frac{||B(t {\bf h})||}{||t {\bf h}||} \to 0 \text{ as $t \to 0$}
\]上述可推知對任意 ${\bf h} \in \mathbb{R}^n$, $B {\bf h} = 0$ 故 $B = 0$。 $\square$

2010年12月11日 星期六

[微積分] 隱函數

現在考慮 單變數函數 $f(x)$,則我們可以將函數可以寫成如下形式:
$$y = f(x)
$$比如說 $y = \sqrt{x^2+1}$ 或者 $y=x \sin (x)$

但有時我們也會遇到一些函數比如說
\[
x^2 + y^2 = 25\;\; \text{ or }\;\; x^3+ y^3 = 6xy
\] 觀察上述兩個例子,讀者可發現函數的關係被隱藏在上述等式之中,或者說上述等式利用 變數 "$x,y$ 之間關係 來定義,我們將此類函數稱作 隱函數implicit function ),一般記做 $F(x,y) = 0$ (此時 $y$ 被隱藏在一個 $F(x,y)$之中)
\[\left\{ \begin{array}{l}
{x^2} + {y^2} = 25 \Rightarrow \underbrace {{x^2} + {y^2} - 25}_{: = F\left( {x,y} \right)} = 0\\
{x^3} + {y^3} = 6xy \Rightarrow \underbrace {{x^3} + {y^3} - 6xy}_{: = G\left( {x,y} \right)} = 0
\end{array} \right.
\]那麼我們的問題很顯然的是,是否可以把上述 隱函數 $F(x,y)=0$ 轉換回原本的 $y = f(x)$?

答案是:只有在一些特定情況才可以求解隱函數 並透過將 $y$ 表示成 $x$ ,那麼這些所謂的特定情況是什麼? 這個問題將留待 之後我們介紹 隱含數定理的時候才會介紹。這邊只是先給出一些較為直覺的想法:

以下我們看個例子:

Example
考慮隱含數 $F(x,y) = x^2 + y^2 = 25$,試將其改寫回 $y=f(x)$ 的形式。

Solution
\[\begin{array}{l}
F\left( {x,y} \right) = 0\\
 \Rightarrow {x^2} + {y^2} - 25 = 0\\
 \Rightarrow y =  \pm \sqrt {25 - {x^2}}
\end{array}\]且此時 $y := f(x)$ 且我們可繪製如下圖


Exercise
試仿照前例,考慮隱含數 $x^3+ y^3 = 6xy$ 試將其改寫回 $y = f(x)$ 的形式

2010年12月1日 星期三

[微積分] 雙變數函數的極限

以下討論均考慮 雙變數情況
============
Definition: Limit of function with two variables
令 $f :D \subset  \mathbb{R}^2 \to \mathbb{R}$ 且 點 $(a,b) \in D$,則我們說 $f(x,y)$ 在點 $ (a,b)$ 的 Limit  $L$ 記做 $f(x,y) \to L$ as $(x,y) \to (a,b)$ 或者
\[
\lim_{(x,y) \to (a,b)}f(x,y) =L
\]若下列條件成立:
對任意 $\varepsilon >0$ 存在 $\delta >0$ 使得 對任意 $(x,y) \in D$,
\[
\sqrt{(x-a)^2+(y-b)^2} < \delta \Rightarrow |f(x,y) - L| < \varepsilon
\]============

Comments:
事實上上述定義可直接推廣到 $n$ 變數的情況,但為免以下分析過於複雜我們在此僅討論雙變數的情況。以下我們看個例子。


Example
試證 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在 且 其極限值為 $0$。

Proof:
要證明   $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2}$ 存在,由定義出發:給定  $\varepsilon >0$,要證明 存在 $\delta >0$ 使得 對任意 $(x,y) \in \mathbb{R}^2$,
\[
\sqrt{(x-0)^2+(y-0)^2} < \delta \Rightarrow |f(x,y) - 0| < \varepsilon
\]
首先觀察
\[|f(x,y) - 0| = |\frac{{3{x^2}y}}{{{x^2} + {y^2}}}| = \frac{{3{x^2}\left| y \right|}}{{{x^2} + {y^2}}} \le 3\left| y \right| = 3\sqrt {{y^2}}  \le 3\sqrt {{y^2} + {x^2}}
\]故若我們取 $\delta := \varepsilon/3 >0$ 則對任意 $(x,y) \in \mathbb{R}$,我們可得
\[\sqrt {{{(x - 0)}^2} + {{(y - 0)}^2}}  < \delta  \Rightarrow |f(x,y) - 0| \le 3\underbrace {\sqrt {{y^2} + {x^2}} }_{ < \delta  = \varepsilon /3} < 3\left( {\frac{\varepsilon }{3}} \right) < \varepsilon \]故 $\displaystyle \lim_{ (x,y) \to (0,0)} \frac{3 x^2y}{x^2 + y^2} =0$ $\square$


Comment:
在單變數函數的情況中,我們知道極限存在 等價 左右極限相等 (從左方逼近 = 右方逼近),但是如果情況推廣到雙變數,則情況將不再這麼單純,所謂的極限存在必須對 "任意" 的逼近方向其極限都必須相等。


============
FACT:
若 $f(x,y) \to L_1 \text{ as } (x,y) \to (a,b)$ 沿著某路徑 $C_1$ 逼近 且 $f(x,y) \to L_2 \text{ as } (x,y) \to (a,b)$  沿著某路徑 $C_2$ 逼近 且 $L_1 \neq L_2$ 則 $\lim_{(x,y) \to (a,b)}f(x,y) =L$ 不存在。
============


Example:
考慮 $\displaystyle \lim_{(x,y) \to (0,0)} \frac{x^2-y^2}{x^2 + y^2}$ ,試問其極限是否存在?

Solution
令 \[
f(x,y):=\frac{x^2-y^2}{x^2 + y^2}
\]首先考慮沿著 $x$ 軸 逼近 $(0,0)$ 的情況:
由於我們沿著 $x$ 軸,故此時 $y=0$ 我們可先計算
\[f(x,0): = \frac{{{x^2}}}{{{x^2}}} = 1,\;\; \forall x \neq 0 \]故我們可知
\[
f(x,y) \to 1 \; \text{ as }\;(x,y) \to (0,0) \;\; \text{ along x-axis}
\]
接著我們考慮沿著 $y$ 軸 逼近 $(0,0)$ 的情況
同理,由於我們沿著 $y$ 軸,故此時 $x=0$ 我們可先計算
\[f(0,y): = \frac{{ - {y^2}}}{{{y^2}}} =  - 1,\;\; \forall y \neq 0\]故我們可知
\[
f(x,y) \to -1\; \text{ as }\; (x,y) \to (0,0)\;\; \text{ along y-axis}
\]注意到此時沿著路徑 $y$ 軸的極限 不等於 沿著 $x$ 軸的極限,故我們說 $\lim_{(x,y) \to (a,b)} \frac{x^2-y^2}{x^2 + y^2}$  不存在 (by FACT)。$\square$


Comment: 注意到,上述例子也許會給出一個錯誤的印象:認為只要檢驗兩軸即可。但若讀者回憶我們前面討論的內容即可發現,對於雙變數函數的情況,極限存在的條件是對 "任意"方向逼近都必須要正確 (任意方向泛指除了單軸逼近,任意直線逼近,任意線段逼近都要正確!!);現在我們看個例子


Example 2
考慮 $f(x,y) = \frac{xy}{x^2 + y^2}$ 試問極限 $\displaystyle \lim_{(x,y) \to (0,0)} f(x,y)$ 是否存在?

Solution
考慮 $y:=mx$ 且 $m$ 為任意斜率;則此為過 $(0,0)$ 的任意斜直線,我們可用此方程幫助我們檢驗沿著任意直線方向逼近 $(0,0)$ 的極限是否相等 (NOTE: 除了沿著 $y$ 軸逼近 $(0,0)$ 之外 (why? 因為垂直線段斜率沒有定義!) )  :

且看
\[f(x,mx) = \frac{{xy}}{{{x^2} + {y^2}}} = \frac{{x\left( {mx} \right)}}{{{x^2} + {{\left( {mx} \right)}^2}}} = \frac{{m{x^2}}}{{{x^2} + {m^2}{x^2}}} = \frac{m}{{1 + {m^2}}},\forall x \ne 0\]亦即
\[\mathop {\lim }\limits_{(x,y) \to (0,0)} f(x,y) = \frac{m}{{1 + {m^2}}}
\]上式顯示了若改變 $m$ 值 (由不同斜線逼近 $(0,0)$),則 $f(x,y)$ 會得到不同的極限,故 $\displaystyle \lim_{(x,y) \to (0,0)} f(x,y)$ 不存在 (by FACT)。$\square$

EXERCISE: 讀者可嘗試重做上述題目但此次改成用 $x = my$ 檢驗。


Comment: Again! 上述例子也許會給出一個錯誤的印象:認為只要檢驗任意直線方向逼近即可。但若讀者回憶我們前面討論的內容即可發現,對於雙變數函數的情況,極限存在的條件是對 "任意"方向逼近都必須要正確 (任意方向泛指任意 "線段" (不只有直線) 逼近都要正確!!);現在我們看個例子


Example 3
考慮 $f(x,y)=\frac{xy^2}{x^2 + y ^4}$ 試問其在 $(0,0)$ 處極限是否存在

Solution:
直接考慮 $y=mx$ (檢驗沿著任意方向斜直線逼近 $(0,0)$)
\[f(x,mx) = \frac{{x{{\left( {mx} \right)}^2}}}{{{x^2} + {{\left( {mx} \right)}^4}}} = \frac{{x{m^2}{x^2}}}{{{x^2} + {m^4}{x^4}}} = \frac{{x{m^2}}}{{1 + {m^4}{x^2}}},\forall x \ne 0\]故
\[f(x,mx) = \frac{{x{m^2}}}{{1 + {m^4}{x^2}}} \to 0 \text{ as } \; (x,y) \to (0,0)\]儘管我們得到了一致的極限,這並不代表極限存在,我們必須再度檢驗其他情況:

現在試著用 $y:=x^2$ (檢驗沿著二次曲線逼近 $(0,0)$):
\[f(x,{x^2}) = \frac{{x{{\left( {{x^2}} \right)}^2}}}{{{x^2} + {{\left( {{x^2}} \right)}^4}}} = \frac{{x{x^2}}}{{1 + {x^2}{x^2}{x^2}}} \to 0 \; \text{ as } \; (x,y) \to (0,0)
\]與 $x:=y^2$,但此時
\[f({y^2},y) = \frac{{{y^2}{y^2}}}{{{{\left( {{y^2}} \right)}^2} + {y^4}}} = \frac{1}{2}\]若取極限沿著 $x=y^2$ 亦為 $1/2 \neq 0$ 故  $f(x,y)=\frac{xy^2}{x^2 + y ^4}$ 在 $(0,0)$ 處極限不存在!! (by FACT) $\square$