統計學（4）

這篇文章介紹機率和機率分佈的第一節。

機率的概念及介紹

1. 實驗（Experiment）：實驗是指一個可記錄一些觀察體（observations）量測值的過程（Process）。
   • 擲一個銅板十次
   • 擲一個骰子一百次
   • 量測某物的厚度一百次
2. 樣本空間（Sample Space）：一個實驗所有可能出現的結果之集合稱為樣本空間。
   • 擲一個骰子一次，$S=\{1,2,3,4,5,6\}$
   • 擲一個銅板雨次，$S=\{(正正),(正反),(反正),(反反)\}$
3. 事件（Event）：事件為實驗的一個結果。為樣本空間的全集合或部分集合。
   • 擲一個骰子一次，令事件A表看到的點數為奇數。
   • 丟一個銅板兩次，令事件B表看到兩個正面。
4. 簡單事件：一個事件若無法分解成兩個（含）以上其他事件，則此事件稱為簡單事件。
   • 擲一個骰子一次，觀察出現的數字。簡單事件類似：出現的數字為 1。
5. 複合事件：一個事件若能分解成兩個（含）以上其他事件，則此事件稱為複合事件。
   • 擲一個骰子一次，觀察出現的數字。複合事件類似：出現的數字是奇數。
6. 事件 A 的機率：$P(A) = \frac{No.(A)}{No.(S)}$
   • No.(A) 表示A事件的樣本個數
   • No.(S) 表示樣本空間的樣本個數

條件機率

條件機率 P（A|B）表在已知B事件已發生的條件下，A事件發生的機率。

$P(A|B) = \frac{P(A\cap B)}{P(B)},\ known\ P(B) > 0$

• $A\cap B$：A、B同時發生。

貝氏定理

$P(A|B) = \frac{P(A\cap B)}{P(B)}$

我們來看一下能夠怎麼拆分。首先對於分母，P(B) 被稱作全機率，它指的是 B 事件發生的機率。有兩種情況：

• B 發生了，且 A 發生了：$P(B\cap A) = P(B|A) \times P(A)$
• B 發生了，且 A 未發生：$P(B\cap \overline{A}) = P(B|\overline{A})\times P(\overline{A})$

所以分母 $P(B) = P(B|A) \times P(A) + P(B|\overline{A})\times P(\overline{A})$

再來看分子，剛剛我們有在寫：$P(B\cap A) = P(A\cap B) = P(B|A) \times P(A)$，帶上去就好了。所以最終貝氏定理的式子長這樣：

$P(A|B) = \frac{P(A\cap B)}{P(B)} = \frac{P(B|A) \times P(A)}{P(B|A) \times P(A) + P(B|\overline{A})\times P(\overline{A})}$

計數原理

如果很難從一個實驗中得知其樣本空間的元素個數，則需要用到計數原理來獲得樣本空間的元素個數。

乘法法則

假設某項行動（act）需要 n 步驟才能完成，若這些步驟分別以連續的方式且每步驟分別有 m1，m2,m3，…，mn 種方式可完成該步驟，則共有 $(m1 \cdot m2 \cdot m3\cdot \cdots \cdot mn)$不同方式可以完成該項行動。

例子：How many different two-letter “words” can be made up from the four letters A, B, C, D? The “word” may not make sense.

1. If a letter may be repeated.
2. If a letter may not be repeated.

解決該問題一共有兩步，第一步挑選第一個字母，第二步挑選第二個字母。

1. 第一步，有4種可能。第二步，有4種可能，則最後可能的結果有：$4\times 4 = 16$種。
2. 第一步，有4種可能。第二步，有3種可能，則最後可能的結果有：$4\times 3 = 12$種。

排列

由 n 個不同的事物中，一次隨機選出 r 個事物且不同的選取順序當成不同的選取方式（比如 AB 和 BA 是不同的）。則共有 P(n, r) 種不同排列方式可以完成此行動：

$P(n, r) = \frac{n!}{(n - r)!}$

共有 $(n-1)!$ 個不同排列方式可以把n個不同的事物排成一個圓圈（circle）。

組合

由 n 個不同的事物中，一次隨機選出 r 個事物且不同的選取順序當成相同的選取方式（AB 和 BA 是相同的），則共有 C(n, r) 種不同排列方式可以完成此行動：

$C(n, r) = \tbinom{n}{r} = \frac{n!}{r! \times (n - r)!}$

加法法則

$P(A\cup B) = P(A) + P(B) - P(A\cap B)$

事件的關聯性和機率法則

事件關聯性

• 相依：事件A的發生會受事件B的影響，反之亦然。
• 獨立：事件A的發生與事件B的發生無任何關係或彼此不會互相影響。
• 互斥：若事件A與事件B不可能同時發生，則兩事件互斥。

聯集、交集和互補

• 聯集：在進行一次實驗時，兩事件 A 與 B 的聯集（union）表示兩事件A事件發生、B 事件發生或 A 與 B 同時發生之事件，AB 事件的聯集以 $A \cup B$ 表之。
• 交集：在進行一次實驗時，兩事件 A 與 B 的交集（intersection）表示 A 與 B 同時發生之事件，AB 事件的交集以 $A\cap B$ 表之。
• 互補事件：A 的互補事件代表實驗中 A 不發生的事件，A 的互補事件以 $\overline{A}$ 或 A’ 表之。

事件的機率法則

獨立事件

• A、B 事件獨立，若且唯若 $P(A|B) = P(A), P(B|A) = P(B)$
• A、B 事件獨立，若且唯若 $P(A \cap B) = P(A) \times P(B)$

互斥事件

• A、B 事件互斥，若且唯若 $P(A|B) = 0, P(B|A) = 0$
• A、B 事件互斥，若且唯若 $P(A\cap B) = 0$