獨立、相關的關系：
獨立，兩個事件的發生沒有任何關系
相關，一般指線性相關，不相關指不線性相關，但或許滿足非線性相關
同分布：
意味着X1和X2具有相同的分布形狀和相同的分布參數，對離散隨機變量具有相同的分布律，對連續隨機變量具有相同的概率密度函數，有着相同的分布函數，相同的期望、方差。
獨立同分布（iid）
在不少問題中要求樣本（數據）采樣自同一個分布是因為希望用訓練數據集訓練得到的模型可以合理用於測試集，使用同分布假設能夠使得這個做法解釋得通。
（機器學習就是利用當前獲取到的信息（或數據）進行訓練學習，用以對未來的數據進行預測、模擬。因此需要我們使用的歷史數據具有總體的代表性。）