機率公理 (Probability axioms)

簡介

機率論是研究隨機現象 (Random phenomena) 的學問，是一門研究隨機事件 (Random events) 規則性的數學分支。其主要研究對象有隨機事件、隨機變數 (Random variables) 與機率分佈 (Probability distributions)、以及隨機過程 (Random processes) 等。其主要的目的在對隨機現象建立機率模型，以求算有興趣的隨機事件的機率值，進而推演出大數法則 (Law of large numbers)、泊松小數法則 (Poisson’s law of small numbers)、以及中央極限定理 (Central limit theorem) 等各種滿足極限定理下的機率法則，並且可以應用於各種隨機過程的研究工作。

與幾何學、代數學等其他數學分支相比，機率論的理論研究開始的比較晚；而且一直要到了西元 1933 年俄國數學家安德雷·柯爾莫哥洛夫 (Andrey N. Kolmogorov，1903-1987)，以公理化 (Axiomatic) 的方式來定義機率，才完全確立了機率論的數學理論基礎，成為數學的主要領域之一。藉由柯爾莫哥洛夫給定的機率公理(Probability axioms)，可推導並驗證許多隨機事件的結果，顯示隨機事件的規則性。

機率空間 (Probability space)

柯爾莫哥洛夫的機率公理開始於機率空間。其為 (Ω, F, P) 三元組 (triple or 3-tuple) 所構成的空間，其中 Ω 為樣本空間 (Sample space)，代表隨機試驗的所有可能結果所形成的集合；F 為事件 (Events) 所構成的σ域 (σ-field)；P 為一個機率測度 (Probability measure)，用來測量事件發生的「確定程度」(Degree of certainty)。

我們先來解釋比較容易瞭解的隨機試驗、樣本空間等名詞，σ域、機率測度等較為抽象的名詞則留在下面再進一步討論。

隨機試驗 (Random experiment)：在固定條件下，一項可以重複實行的試驗，其觀測到的結果全憑機遇、不是唯一，在試驗實施前不能肯定其結果，但是可以對各種可能發生的結果加以描述。隨機試驗的結果稱為出象 (Outcome)

範例一，丟擲一枚錢幣 3 次，觀察其正反兩面出現次序的試驗；

範例二，丟擲一枚錢幣 3 次，觀察其出現正面次數的試驗。

樣本空間 (Sample Space)：一個隨機試驗所有可能出象形成的集合，並以 Ω 表示之。

範例一的樣本空間為：

Ω = {(HHH), (HHT), {HTT}, (HTH), (THH), (THT), (TTH), (TTT)}

範例二的樣本空間為：

Ω = {0, 1, 2, 3}

在範例一和範例二中，我們可以發現雖然是同一種試驗 (丟擲一枚錢幣 3 次)，但是因為要觀測對象 (出象) 的不同，而有不同的樣本空間。

隨機事件 (Random event): 由不同出象所形成的集合，是樣本空間的子集合。若事件 A 只包含一個出象，則稱 A 為單一事件 (Singleton)。空集合也視為一個隨機事件。

同一個隨機試驗的任兩個不同樣本空間一定是互斥集合 (Disjoint set)，否則在計算隨機事件的機率時會產生矛盾。

定義於 Ω 的所有事件：給定集合 Ω，其冪集 (Power set) Pw(Ω) (或作 2^Ω）是以 Ω 的全部子集為元素的集合。

例如，在丟擲一枚錢幣 2 次，觀察其出現正面次數的試驗中，Pw(Ω)={∅,{0},{1},{2},{0,1},{0,1},{0,2},{1,2}}。

集合的「基數」 (Cardinal number or cardinality) 是指集合中所包含的元素的「個數」。

範例一的樣本空間的基數為 8，冪集的基數為 256；範例二的樣本空間的基數為 4，冪集的基數為 16。

數學上，一般我們會把元素個數和自然數一樣多的集合，稱為可數集 (Countable set)，也就是說，一個集合，其元素可與自然數作一一對應，那麼該集合便為可數集。

域 (Field) 與初等機率測度 (Elementary probability measure)

數學中的域 (Field) 是一種可進行二元運算的基本代數結構，其在執行多個二元運算時，同時需要滿足結合律 (Associative law)、交換律 (Commutative law)、分配律(Distributive law) 等運算律。域的結構被廣泛應用於代數、集合論以及其他數學領域中。

在討論域之前，讓我們先來看看什麼是二元運算：

二元運算 (Binary operation)：令 A 為一個集合，在 A 上的一個二元運算是一個函數 o : A × A → A。

註：「集合 A 上的二元運算」暗示了該二元運算在 A 上是封閉的 (Closed)。

集合域 (Field of sets) 和抽象代數的域類似，是「集合上的二元運算」，所以也被稱為集合代數 (Algebra of sets)；不同的是集合域是由宇集 (例如，樣本空間) 以及宇集的部份 (至少一個) 子集合所組成，而且子集合原來就滿足結合律、交換律、分配律等運算律。

設 Ω 為一非空集合，其冪集 Pw(Ω) 的子集 F 若滿足以下三條件，則稱其為域 (Ω, F)：

(i) 非空集合 (Nonempty set)：
F ≠ ∅.

(ii) 餘集封閉性 (Closed under complement)：
A ∈ F ⇒ A^C ∈ F ;

(iii) 交集封閉性 (Closed under the union)：
A, B ∈ F ⇒ A ∪ B ∈ F .

註1：我們通常簡稱為域 F，而不是域 (Ω, F)。
註2：域包含空集及宇集，即 ∅, Ω ∈ F，因為∅ ∈ F ⇒ ∅^C = Ω ∈ F。
註3：透過狄摩根定理 (De Morgan's laws) 在 F 上的交集、聯集和差集都是二元運算。
註4：A1, A2, …, An ∈ F，A1, A2, …, An的交集以及聯集也屬於 F。
註5：Fi, i ∈ I 為域，則Fi 的交集也是域。
註6：若 Ω 為樣本空間，則域 (或代數) 內的元素叫做事件 (Events)。
註7：如果 A ∩ B = ∅, 則稱A、B 為互斥(disjoint) 事件。

在丟擲一枚錢幣 2 次， Pw(Ω)={∅,{0},{1},{2},{0,1},{0,1},{0,2},{1,2}} 中，{∅, {0, 1, 2}}是最小的域，{∅,{0,1,2},{0},{1},{2},{0,1},{0,1},{0,2},{1,2}} 是最大的域，若是有興趣的是出現 0 次或 1次正面，則可以選定 {0,1} ∈ F，則其餘集 {2} ∈ F，得到 {∅,{0,1,2},{2},{0,1}} 也是一個域。

在定義完集合域後，我們可以確保：1) 域會包含宇集，以及 2) 域上的交集和聯集等二元運算是封閉的。接著我們對每一個事件 A ∈ F 引入機率測度，用來測量事件發生的「確定程度」。

對於事件 A 的機率 P(A)，若其滿足下列的三個條件，則稱其為一個初等機率測度 (Elementary probability measure)：

(i) 正性 (Positivity)：0 ≤ P(A) ≤ 1, ∀A ∈ F.

(ii) 歸一性 (Normalization)：P(Ω) = 1.

(iii) 加性 (Additivity)：若A, B ∈ F 為互斥事件，則 P(A ∪ B) = P(A) + P(B).

註1：初等機率測度也稱為「擬機率測度」。
註2：P(Ω)=1，即事件 Ω 必然發生，叫做鐵定事件 (Sure event 或certain event)， P(∅)=0，即空集 ∅ 永不發生，叫做不可能事件 (Impossible event) 或空事件 (Null event)。
註3：Pr(A^C) = 1−Pr(A)，其中 A^C 表示 A 的餘集。
註4：若 A ⊆ B，則 P(A) ≤ P(B)。
註5：P(A∪B) = P(A) + P(B) − P(A∩B)，若A, B 為互斥事件，則 P(A∪B) = P(A) + P(B)。
註6：(Boole 不等式)：對於任意 n 個事件 A1,A2,⋯,An 恆有 P(⋃_k=1ⁿAk )≤ ∑_k=1ⁿP(Ak)。
註7：(有窮加性)：進一步，若 A1,A2,⋯,An 兩兩互斥，則有 P(⋃_k=1ⁿAk) = ∑_k=1ⁿP(Ak)。

註8：取捨原理(Inclusion-Exclusion Principle)：P(⋃_k=1ⁿAk) = ∑_k=1ⁿP(Ak)−∑_{1≤k1<k2≤n}P(Ak1∩Ak2)+∑_{1≤k1<k2<k3≤nP}(Ak1∩Ak2∩Ak3)−⋯+(−1)_n+1P(A1∩A2∩⋯∩An)

例如，在丟擲一枚錢幣 3 次的試驗中，假設每個樣本點發生的機會都均等 (Laplace的古典假設)，我們想知道剛好出現 2 次正面的機率為何，可以表示為 P({2}) = P({THH}, {HTH}, {HHT}) =3/8。

初等機率測度為何要使用「域」而非「冪集」，是因為其較具有一般性，特別是當樣本空間為可數集而非有限集時。根據定義，只有 F 中的元素，才稱為事件並且才能給定機率值。而根據域定義的規範，我們可以彈性的找一些 Ω 的子集來組成 F，可以有利於相關理論的發展。

定義: 一個初等機率空間(Elementary probability space) 是指三合一空間 (Ω, F, P), 其中：
(i) Ω 為一個非空集, 叫做樣本空間；
(ii) F ⊂ 2Ω 為一個域，F 的元素代表事件；
(iii) P 為一個初等機率測度。

初等機率空間的理型可以承載Bernoulli 弱大數法則與De Moivre-Laplace中央極限定理，但是無法承載Borel 的強大數法則。這顯示初等機率空間的理型論 (Theory of forms) 似乎不夠用, 尤其是涉及樣本空間為無窮集的情形。

σ域 (σ-field) 與機率測度空間

σ 域或稱為 σ 代數 (σ-algebra) 是一個滿足可數聯集封閉性 (Closed under countable unions) 的集合域；即 σ 域是一個域，但是其第 3 個條件擴充為具有可數聯集封閉性。

設 (Ω, Σ) 為一域，其中 Ω 非空宇集，Σ 為 Ω 的冪集 P(Ω) 的子集，若滿足下列條件，則稱其為σ域：
可數聯集封閉性 (Closed under countable unions)：
如果 A1, A2, A3, ... ∈ Σ，則 A = A1 ∪ A2 ∪ A3 ∪ … ∈ Σ.

註：透過狄摩根定理，σ 域也具有可數交集封閉性。

機率公理(Probability axioms) 設 Ω 為一樣本空間，F 為 Ω 之一些子集所形成之一 σ域。則以 F 為定義域，滿足下述條件的函數 P，便稱為一機率函數：
(i) ∀A∈F, P(A)≥0,

(ii) P(Ω)=1,
(iii) 可加性：若 A1,A2,⋯∈F，且 Ai∩Aj=∅, ∀i≠j，則：
P(⋃_i=1^∞Ai) = ∑_i=1^∞P(Ai)

註1：機率公理也稱為柯莫果洛夫公理(Kolmogorov axioms)。
註2：對一樣本空間 Ω， 我們引進了 σ域 F，及機率函數 P，(Ω,F,P) 便構成一機率空間(probability space)。
註3：對同一樣本空間，可以有不同的 σ域。即使 σ域相同，也可有不同的機率函數。

機率論為何要採用「機率空間」是初學公理化機率論的人最易產生的困惑。若只是處理一些簡單情況下的機率，是可以暫時不用太在乎所涉及的機率空間是什麼；只要知道，「機率空間」是全測度為1的特殊測度空間，能夠讓測度與積分論的工具應用在機率論中。因此許多入門的機率論教科書並不特別強調機率空間的概念。但是機率空間是機率論的基礎，當我們在所事較專業的研究時，就得弄清楚機率空間究竟為何。

使用有較高限制的機率空間，並非因為初等機率空間不足以承載機率論，而是因為機率論要承載的東西種類眾多，有的甚至違背了我們直觀的認知。我們可以將由域延伸到σ域的理想化、連續化、無窮化過程，類比為將有理數系延伸到實數系的過程。因為實數系的出現，完備的數系的發展，讓理論的研究可以澄清實際生活中不易接觸到的事件。