跳到主要內容

[機率論] Bernoulli 與 Binomial 隨機變數

假設進行一次隨機試驗,若其結果可以僅分為 "成功" 或者 "失敗"兩類,現在我們令隨機變數 $X=1$ 時表示成功,$X=0$ 表示失敗,則 $X$ 對應的機率質量函數 (Probability mass function, pmf) 可以表示為
\[
P(X=1) = p;\;\;\; P(X=0)=1-p
\]其中 $p$ 表為實驗成功的機率且滿足 $0 \le p \le 1$。

===============
Definition: Bernoulli Random Variable
我們說隨機變數 $X$ 為 白努力 (Bernoulli) 隨機變數 若下列條件成立:
存在 $p\in(0,1)$ 使得 $X$ 的機率質量函數滿足
\[
P(X=1) = p;\;\;\; P(X=0)=1-p
\]===============



透過上述的 Bernoulli 隨機變數,我們考慮其進一步推廣:
假設進行 $n$ 次獨立隨機試驗,且每次試驗仍僅有 "成功" 或者 "失敗"兩類,且成功的機率均為 $p$,失敗的機率均為 $1-p$。現在我們定義隨機變數 $X$ 為 $n$ 次實驗中成功的次數,則稱 $X$ 為參數 (n,p) 的二項 (Binomial)隨機變數且其對應的機率質量函數滿足 對任意 $i=0,1,2,...,n$,
\[
p(X=k): = \left( \begin{array}{l}
n\\
k\end{array} \right){p^k}{\left( {1 - p} \right)^{n - k}} \;\;\;\; (*)
\]

Comments:
1. 注意到 Bernoulli 隨機變數為參數 $(1,p)$ 的 Binomial 隨機變數。
2. Binomial 隨機變數 $X$ 亦稱做 $X$ 服從 Binomial 分佈,且分佈由上述 $(*)$ 所描述。


以下我們驗證為何 Binomial 隨機變數的滿足機率質量函數的要求 亦即我們證明
1. 對任意 $i=0,1,2,..,n$, $P(X=k) \ge 0$
2. $\sum_{k=0}^n P(X=k) = 1$

Proof:
條件 1 不難驗證,讀者可直接觀察 $(*)$而得。
條件 2,我們觀察
\[\sum\limits_{k = 0}^n {P(X = k)}  = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}
\]使用 Binomial Theorem,亦即
\[{(x + y)^n} = \mathop \sum \limits_{k = 0}^n \left( \begin{array}{l}
n\\
k
\end{array} \right){x^k}{y^{n - k}}
\]令 $x=p$ 且 $y=1-p$ 可得
\[\sum\limits_{k = 0}^n {P(X = k)}  = \sum\limits_{k = 0}^n {\left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}  = {\left( {p + \left( {1 - p} \right)} \right)^n} = 1\]

以下我們看個例子:
Example:
考慮投擲一不公平的銅板 6 次,假設該銅板出現正面機率為 $p=2/3$ 且假設投擲銅板的試驗結果彼此互相獨立,
(a) 試求出現正面個數為 $1$ 次的機率質量函數。
(b) 試求出現正面個數為 $2$ 次的機率質量函數。
(c) 試求出現正面個數為 $3$ 次的機率質量函數。


Solution 
投擲銅板 $6$ 次可視為 $6$ 次隨機試驗,且每次結果只有出現正面 (機率為 $p=2/3$)或者反面 (機率為 $1-p = 1/3$),現在我們要求在6次試驗中,銅板出現正面個數為 $1$ 次的機率質量函數。故我們可透過數學對上述試驗來進行建構模型,亦即定義隨機變數 $X$ 為 銅板出現正面次數 為 $k$,則由前述討論可知 $X$ 服從 Binomial 分佈,亦即機率質量函數為
\[
P(X=k): = \left( \begin{array}{l}
n\\
k\end{array} \right){p^k}{\left( {1 - p} \right)^{n - k}}
\]其中 $n=6$ 且 $k$ 表示六次試驗中銅板出現正面的次數,另外 $p=2/3$。

故現在對於 $(a)$ 而言,我們可以直接寫下其對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 1) = \left( {\begin{array}{*{20}{l}}
6\\
1
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^1}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 1}} = \frac{{6!}}{{1!\left( {6 - 1} \right)!}}\left( {\frac{2}{3}} \right){{\left( {\frac{1}{3}} \right)}^5}}\\
{ \Rightarrow P(X = 1) = \frac{{12}}{{{3^6}}} \cong 0.0165}
\end{array}\]
同理對於問題 $(b)$,其對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 2) = \left( {\begin{array}{*{20}{l}}
6\\
2
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^2}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 2}} = \frac{{6!}}{{2!\left( {6 - 2} \right)!}}{{\left( {\frac{2}{3}} \right)}^2}{{\left( {\frac{1}{3}} \right)}^4}}\\
{ \Rightarrow P(X = 2) = \left( {\frac{{60}}{{{3^6}}}} \right) \cong 0.08}
\end{array}\]
對於問題 $(c)$,對應的機率質量函數為
\[\begin{array}{*{20}{l}}
{P(X = k) = \left( {\begin{array}{*{20}{l}}
n\\
k
\end{array}} \right){p^k}{{\left( {1 - p} \right)}^{n - k}}}\\
{ \Rightarrow P(X = 3) = \left( {\begin{array}{*{20}{l}}
6\\
3
\end{array}} \right){{\left( {\frac{2}{3}} \right)}^3}{{\left( {1 - \frac{2}{3}} \right)}^{6 - 3}} = \frac{{6!}}{{3!\left( {6 - 3} \right)!}}{{\left( {\frac{2}{3}} \right)}^3}{{\left( {\frac{1}{3}} \right)}^3}}\\
{ \Rightarrow P(X = 3) = \left( {\frac{{160}}{{{3^6}}}} \right) \cong 0.2195}
\end{array}\]

Exercise: 重複上述例題,試求
(a) 試求出現反面個數為 $1$ 次的機率質量函數。
(b) 試求出現反面個數為 $2$ 次的機率質量函數。
(c) 試求出現反面個數為 $3$ 次的機率質量函數。



現在我們進一步問一個問題,如果我們執行 無限次 ($n \to \infty$)的 Bernoulli 實驗,會發生什麼事情? 已下定理給出答案

Theorem: 令 $\lambda = n p$ 為定數,則當 $n \to \infty$ , Binomial(n,p) 的 PDF函數滿足
\[\left( \begin{gathered}
  n \hfill \\
  k \hfill \\
\end{gathered}  \right){p^k}{\left( {1 - p} \right)^{n - k}} \to \frac{{{\lambda ^k}{e^{ - \lambda }}}}{{k!}}\]
Proof: 觀察
\[\small \begin{align*}
  \left( \begin{gathered}
  n \hfill \\
  k \hfill \\
\end{gathered}  \right){p^k}{\left( {1 - p} \right)^{n - k}}
&= \frac{{n!}}{{k!\left( {n - k} \right)!}}{\left( {\frac{\lambda }{n}} \right)^k}{\left( {1 - \frac{\lambda }{n}} \right)^{n - k}} \hfill \\
 &  = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{n!}}{{\left( {n - k} \right)!}}{{\left( {\frac{1}{n}} \right)}^k}{{\left( {1 - \frac{\lambda }{n}} \right)}^{n - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{n\left( {n - 1} \right) \cdots \left( {n - \left( {k + 1} \right)} \right)\left( {n - k} \right)!}}{{\left( {n - k} \right)!}}{{\left( {\frac{1}{n}} \right)}^k}{{\left( {1 - \frac{\lambda }{n}} \right)}^{n - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\frac{{\overbrace {n\left( {n - 1} \right) \cdots \left( {n - \left( {k + 1} \right)} \right)}^{{\text{k times}}}}}{{{n^k}}}{{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {\frac{n}{n}\frac{{\left( {n - 1} \right)}}{n} \cdots \frac{{\left( {n - \left( {k + 1} \right)} \right)}}{n}} \right){{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
  & = \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {1\left( {1 - \frac{1}{n}} \right) \cdots \left( {1 - \frac{{k + 1}}{n}} \right)} \right){{\left( {1 - \frac{\lambda }{n}} \right)}^n}{{\left( {1 - \frac{\lambda }{n}} \right)}^{ - k}}} \right) \hfill \\
   & \to \frac{{{\lambda ^k}}}{{k!}}\left( {\left( {1 \cdot 1 \cdots 1} \right){e^{ - \lambda }} \cdot 1} \right) =   \frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }} \square
\end{align*} \]

Comments
1. 上述證明中使用了以下結果:
\[\mathop {\lim }\limits_{n \to \infty } {\left( {1 - \frac{\lambda }{n}} \right)^n} = {e^{ - \lambda }}\]
2. 上述的極限分配 $\frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }}$ 又稱作 Poisson 分配,亦即若隨機變數 $X$ 服從 Poisson 分配,則其 機率分佈函數 為
\[{f_X}\left( k \right): = P\left( {X = k} \right) = \left\{ \begin{gathered}
  \frac{{{\lambda ^k}}}{{k!}}{e^{ - \lambda }}\begin{array}{*{20}{c}}
  {}&{k = 0,1,2....}
\end{array} \hfill \\
  0,\begin{array}{*{20}{c}}
  {}&{}
\end{array}o.w. \hfill \\
\end{gathered}  \right.\]

留言

  1. 你應該是我看過寫得最簡易好懂的高高高手了!!!!!因為只有內化深入了解才有辦法深入簡出

    回覆刪除

張貼留言

這個網誌中的熱門文章

[數學分析] 什麼是若且唯若 "if and only if"

數學上的 if and only if  ( 此文不討論邏輯學中的 if and only if,只討論數學上的 if and only if。) 中文翻譯叫做  若且唯若 (or 當且僅當) , 記得當初剛接觸這個詞彙的時候,我是完全不明白到底是甚麼意思,查了翻譯也是愛莫能助,畢竟有翻跟沒翻一樣,都是有看沒有懂。 在數學上如果看到 if and only if  這類的句子,其實是表示一種 雙條件句 ,通常可以直接將其視為" 定義(Definition)" 待之,今天要分享的是這樣的一個句子如何用比較直觀的方法去看他 假設我們現在有 兩個邏輯陳述句 A 與  B. 注意到,在此我們不必考慮這兩個陳述句到底是什麼,想表達什麼,或者到底是否為真(true),這些都不重要。只要知道是兩個陳述即可。 現在,考慮新的陳述:  "A if and only if B" 好了,現在主角登場,我們可以怎麼看待這個句子呢? 事實上我們可以很直覺的把這句子拆成兩部分看待,也就是 "( A if B ) and ( A only if B )" 那麼先針對第一個部分  A if B  來看, 其實這句就是說  if B then A, 更直白一點就是 "if B is true, then A is also true".  在數學上等價可以寫為 "B implies A" .  或者更常用一個箭頭符號來表示 "B $\Rightarrow$  A"  現在針對第二個部分  A only if B 此句意指  "If B is not true, then A is also not true". 所以如果已知 A is true,  那麼按照上句不難推得 B is also true 也就是說  A only if B  等價為 "If A is true then B is also true". 同樣,也可以寫作   "A implies B"   或者用箭頭表示  "A   $\Rightarrow$     B".

[數學分析] 淺談各種基本範數 (Norm)

這次要介紹的是數學上一個重要的概念: Norm: 一般翻譯成 範數 (在英語中 norm 有規範的意思,比如我們說normalization就是把某種東西/物品/事件 做 正規化,也就是加上規範使其正常化),不過個人認為其實翻譯成 範數 也是看不懂的...這邊建議把 Norm 想成長度就好 (事實上norm是長度的抽象推廣), 也許讀者會認為好端端的長度不用,為何又要發明一個 norm 來自討苦吃?? 既抽象又艱澀。 事實上想法是這樣的: 比如說現在想要比較兩個數字 $3$ , $5$ 之間的大小,則我們可以馬上知道 $ 3 < 5 $;同樣的,如果再考慮小數與無理數如 $1.8753$ 與 $\pi$,我們仍然可以比較大小 $1.8753 < \pi = 3.1415...$ 故可以發現我們有辦法對 "純量" 做明確的比大小,WHY? 因為前述例子中 $3$, $5$, $1.8753$ or $\pi$ 其各自的大小有辦法被 "measure "! 但是如果是現在考慮的是一組數字 我們如何去measure 其大小呢?? 比如說 \[x:=[1, -2, 0.1, 0 ]^T \]上式的大小該是多少? 是 $1$? $-2$? $0.1$??? 再者如果更過分一點,我們考慮一個矩陣 \[A = \left[ {\begin{array}{*{20}{c}} 1&2\\ 3&4 \end{array}} \right] \],想要知道這個矩陣的大小又該怎麼辦?? 是 $1$ ? $2$ 還是 $4$ ?..其實現階段我們說不清楚。 也正是如此,可以發現我們確實需要新的 "長度" 的定義來幫助我們如何去 measure 矩陣/向量/甚至是函數的大小。 故此,我們首先定義甚麼是Norm,(也就是把 "長度" or "大小" 的本質抽離出來) ================== Definition: Norm 考慮 $V$ 為一個向量空間(Vector space),則我們說  Norm 為一個函數 $||\cdot|| : V \rightarrow \mathbb{R}$ 且滿足下列性質