第一章
1.1 說明伯努利模型的極大似然估計以及貝葉斯估計中的統計學習方法三要素。
答：
統計學習方法的三要素是模型、策略、算法。
| 模型 | 策略 | 算法 | |
| 極大似然估計 | 條件概率 | 經驗風險最小化 | 求解析解 |
| 貝葉斯估計 | 條件概率 | 結構風險最小化 | 求數值解 |
伯努利模型是定義在取值為0和1的隨機變量上的概率分布。
極大似然估計：
似然函數的對數：
其中，n為實驗次數，k為n次實驗中結果為1的次數，Yi表示第i次實驗的結果。
令對數似然的導數為0可以直接求出解析解：
貝葉斯估計：
根據先驗概率和估計后驗概率，使后驗概率最大化。
所以貝葉斯估計得到的概率取決於所選擇的先驗分布。
PS:對於伯努利模型，可以使用beta分布作為貝葉斯估計的先驗概率。
1.2 證明：模型是條件概率分布，當損失函數是對數損失時，經驗風險最小化等價於極大似然估計。
首先需要理解幾個概念，條件概率分布，對數損失，經驗風險和極大似然估計。
模型是條件概率分布，說明預測值：
對數損失的定義為：
此時，經驗風險R為：
所以，最小化經驗風險R，相當於最大化似然估計
