概率論研究那些受到隨機事件（random events）影響的現象，它們具有很大的不確定性。
基礎定義
討論概率時，最重要的就是不確定性的思想，我們需要引入一個足夠寬泛的、用於處理不確定性的概念。偶然性試驗（chance experiment）或隨機試驗（random experiment）是產生不確定結果的過程。例如，扔硬幣、測試機械使用壽命等都是隨機實驗。
定義：偶然性試驗的樣本空間（sample space）Ω 是實施試驗所可能產生結果的集合。Ω 里的元素稱為該試驗的樣本點（sample point）。Ω 的子集稱為事件（event）。
只包含一個樣本點的事件稱為基本事件（elementary event），包含多個樣本點的事件稱為復合事件（compound event）。
樣本空間的划分
翻硬幣有 2 個樣本點，搖骰子有 6 個樣本點，像這種有限的樣本空間，稱為有限樣本空間（finite sample space）。
翻一枚硬幣，一直翻到背面為止。這樣的隨機試驗的樣本空間是：$\Omega=\{T, H T, H H T, H H H T, \ldots\}$。這種樣本空間是無限的，但是同時又是可以枚舉的，因此稱為可數無限樣本空間（countably infinite sample space）。
檢測燈泡的使用壽命，這樣的隨機試驗的樣本空間是：$\Omega=\{t: t \geq 0\}=[0, \infty)$，這種樣本空間是不可數的集合，通常稱為連續樣本空間（continuous sample space）。處理這種樣本空間的技巧，與有限樣本空間和可數無限樣本空間的技巧，有很大的不同。通常又把有限樣本空間和可數無限樣本空間，統稱為離散樣本空間（discrete sample space）。
事件的運算
通過定義樣本空間這樣的集合，以及定義事件作為樣本空間的子集。因此，集合論里面的運算自然衍生到了事件的運算。
首先定義事件的發生（occured）：對於事件 A∈Ω ，當進行試驗時，我們觀察到的結果（output）ω∈Ω ，同時也滿足 ω∈A 的條件，那么就稱事件 A 發生了。
根據這樣的定義，那么對於兩個事件 A 和 B，滿足 A⊆B，那么如果 A 發生，必然有 B 發生。
如果 A⊆B 且 B⊆A，顯然根據集合論，A=B。此時，如果事件 A 發生，那么事件 B 發生；反之亦然。由此引入事件等價的定義。
定義：當事件 A 發生，必然有事件 B 發生；反之亦然。那么稱 A 和 B 是等價的（equivalent），寫作 A=B。
集合論里面全集和空集的概念，對應到事件中，就稱為必然事件（certain event）和不可能事件（impossible event）。
定義：事件 A 和 B 的並（union）定義為 A∪B，其含義是 A 或 B 發生。
定義：事件 A 和 B 的交（intersection）定義為 A∩B 或 AB，其含義是 A 且 B 發生。
多個事件的交和並，同樣用集合論的語言來表示：
$$
\bigcup_{i=1}^{\infty} A_{i} \text { and } \bigcap_{i=1}^{\infty} A_{i}=\prod_{i=1}^{\infty} A_{i}
$$
定義：已知在樣本空間 Ω 上定義的事件 A 和 B，如果 A∪B=∅，那么稱 A 和 B 互斥事件（disjoint or mutually exclusive events）。
對於多個事件 Ai，如果滿足：
$$
A_{i} A_{j}=\emptyset \quad \text { for any } i \neq j(i, j=1,2, \ldots, n)
$$
那么稱事件 Ai 兩兩互斥（pairwise disjoint）。
定義：令 A 是樣本空間上的事件。它的補集稱為對立事件（complementary event），當且僅當 A 不發生時，A 的對立事件發生。A 的對立事件記作：$A^{\prime}$ or $\bar{A}$ or $A^{c}$。
定義：事件 A 與 B 的差（difference）指這樣的事件，當該事件發生時，A 發生，而 B 不發生，記作 A-B。
於是有這樣的關系：
$$
A^{\prime}=\Omega-A \quad \text { and } \quad A-B=A B^{\prime}
$$
所有都是套用集合論上面而來的，以下是事件運算的性質：
- $A \cup A=A \quad A A=A$
- $A \cup \emptyset=A \quad A \emptyset=\emptyset$
- $A \cup \Omega=\Omega \quad A \Omega=A$
- $A \cup B=B \cup A \quad A B=B A$
- $A \cup(B \cup C)=(A \cup B) \cup C \quad A(B C)=(A B) C$
- $A \cup(B C)=(A \cup B)(A \cup C) \quad A(B \cup C)=(A B) \cup(A C)$
- $A \cup A^{\prime}=\Omega \quad A A^{\prime}=\emptyset$
- $\left(A^{\prime}\right)^{\prime}=A$
- If $A \subseteq B$ and $B \subseteq C$, then $A \subseteq C$
- If $A \subseteq B$, then $B^{\prime} \subseteq A^{\prime}$ and vice versa
- If $A \subseteq B$, then $A B=A$ and $A \cup B=B$.
De Morgan 定律：
$$
(A \cup B)^{\prime}=A^{\prime} B^{\prime}, \quad(A B)^{\prime}=A^{\prime} \cup B^{\prime}
$$
參考
- Balakrishnan N, Koutras M V, Politis K G. Introduction to Probability: Models and Applications[M]. John Wiley & Sons, 2019.