謝宗翰的隨筆

下列 Bessel's inequality 在 泛函分析 與 Fourier 分析中扮演重要角色，此不等式表示給定任意在 Hilbert Space 中的點 $x$ (e.g., $L^2$ 空間上 封閉子集的函數)， 且給定一組 Hilbert Space 上的正交基底函數 (e.g., complex exponential function, $\{e_i\}$) 則 任意點 $x$ 透過 $\{e_i\}$ 作為基底展開的係數平方和 有上界 且此上界剛好為 $||x||^2$。此不等式的證明要求對內積的性質有進一步掌握，個人認為是很好的練習。 ====================== Theorem: Bessel's Inequality 令 $H$ 為 Hilbert Space 且 $x \in H$。若 $\{e_i\} \subset H $ 為一組 orthonormal sequence 則 \[ \sum_{i=1}^\infty | \langle x,e_i \rangle |^2 \leq ||x||^2 \]其中 $\langle \cdot, \cdot \rangle$ 為 $H$ 上的內積運算。 ====================== Proof: 令 $\{e_i\} \subset H $ 為一組 orthonormal sequence 且 $x \in H$，現在觀察 $x$ 與 部分和$\sum_{i=1}^n \langle x, e_i \rangle$ 的差異 (透過內積)： \begin{align*}   0 \leqslant {\left\| {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\|^2} &= \left\langle {x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle } {e_i},x - \sum\limits_{i = 1}^n {\langle x,{e_i}\rangle {e_i}} } \right\rangle  \hfill \\    &= \left\langl

以下討論 點估計理論 中一些比較重要的性質與應用。 令 $\Theta$ 為某參數空間。 =================== Definition: (Point) Estimator and Estimate 給定 $X_1,...,X_n$ 為 i.i.d. 隨機試驗 來自 pdf $f(x;\theta)$ 其中 $\theta \in \Theta$ 為未知參數，現在定義新的隨機變數 $\widehat \theta$ 為  $X_1,...,X_n$ 的函數，寫為 \[ \widehat \theta := \widehat \theta(X_1,...,X_n) \]則我們稱此 $\widehat \theta$ 為用以估計參數  $\theta$ 的估計量 (estimator of $\theta$)，且若我們能取得隨機樣本的觀察值，比如 $X_1 = x_1,X_2=x_2,...,X_n = x_n$ 則我們稱 \[ \widehat \theta := \widehat \theta(x_1,...,x_n) \]為參數 $\theta$ 的估計值(estimate) =================== Comments: 1. 參數 $\theta$ 為分配中的未知常數，但估計量 $\widehat \theta$ 為隨機變數 2. 在數理統計中的 隨機取樣 與 機率論中 iid 隨機變數 視為等價敘述。 3. $\widehat \theta$為  $X_1,...,X_n$ 的函數，但與 $\theta$ 無關！在數理統計中稱此與待估計參數無關的性質為 統計量 ( statistic )。 那麼怎樣的估計量才算是 "好" 的估計量？以下給出一些常見的 "好" 估計量定義。 =================== Definition: What "Good" Properties Should an Estimator Hold?  令 \[ \widehat \theta := \widehat \theta(X_1,...,X_n) \] 為某未知參數 $\theta$ 的估計量，則 我們稱 $\wideh

以下介紹一個在機率論中 相當有用的 一條不等式，稱為 Chebyshev inequality，此不等式將 期望值 與 機率測度 做出一定程度的連結 來用以估計 期望值的下界 （或者說 求某機率測度的上界）。以下我們給出此不等式之陳述與證明：讀者可注意要求的假設條件並不多，證明也稍具巧思。 ================ Theorem: Generalized Chebyshev's Inequality  令 $X$ 為 任意 連續型 隨機變數 配備 機率密度函數 $f_X$ ，現在定義 $g(X)$ 為任意非負函數，若 $E[g(X)]$ 存在，則 對任意常數 $c>0$，我們有 \[ P(g(X) \geq c) \leq \frac{E[g(X)]}{c} \]================ Proof:  假設 $X$ 為連續型隨機變數且 $E[g(X)]$ 存在，令 $c >0$ 為任意正值常數。由於期望值 $E[g(X)]$ 存在，由定義可知我們有 \[ E\left[ {g\left( X \right)} \right] = \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx} \]其中 $f_X(x)$ 為 $X$ 的 機率密度函數 (Probability Density Function, pdf)。現在觀察上述右式積分，我們可將其等價寫為 \begin{align*}   \int_{ - \infty }^\infty  {g\left( x \right){f_X}\left( x \right)dx}  &= \int_{\left\{ {x:g\left( x \right) \geqslant c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  + \int_{\left\{ {x:g\left( x \right) < c} \right\}}^{} {g\left( x \right){f_X}\left( x \right)dx}  \hfill \\  &  \geq \int_{\left\