作為機器學習攻城獅（咳咳：調參員），參數和超參數是最最基礎的常識。
1、參數（模型根據數據可以自動學習出的變量）
參數指的是模型內部的配置變量(configuration variable)，可通過數據來估計其取值。
從數據中估計或學習得到
通常不被人為設定
常作為最終模型的一部分被保存
參數是機器學習算法的關鍵，它們是從歷史訓練數據中學習到的，屬於模型的一部分。
在經典的機器學習文獻中，我們可以把模型看作是假設，把參數看作是針對某特定數據實現假設的工具，通常來說，模型參數是算法考慮所有可能取值后得到的最優解。
統計學：在統計學中，我們可能會為一個變量假設服從某個分布，如高斯分布。高斯分布具有兩個參數，分別是均數和標准差。這樣的理解在機器學習中也是成立的，這些參數可以通過數據進行估計，並且作為預測模型的一部分。
編程：在編程中，我們可能把參數傳遞給函數。在這個情況下，參數作為函數變量(function argument)可以取一系列值中的一個。在機器學習中，我們使用模型就是在外部數據中進行預測所需的函數和參數。
模型具有固定個數的參數，叫做參數模型，若具有可變個數的參數，則為非參數模型。
下面是幾個關於模型參數的例子：
人工神經網絡的權重
支持向量機中的支持向量
線性回歸及logistic回歸中的回歸系數
2、超參數（用來確定模型的一些參數）
模型超參數指的是模型外部的配置變量，不能通過數據來估計其取值
常用於幫助估計模型參數的過程
通常由人為設定
可用探索的方法對其進行設定
可針對給定的預測建模問題對超參數進行調整
我們不能獲得針對某個特定問題的模型參數的最優取值。但我們可以采用經驗法則，參考用於其他問題的取值，或者通過反復嘗試尋找最佳值。
當機器學習算法用於解決特定問題時，我們正是采用規則搜尋或者隨機搜尋的方式，對模型的超參數進行調整，來發現模型的參數，從而得到最優的預測。
下面是幾個關於模型超參數的例子：
訓練神經網絡的學習率(learning rate)
支持向量機中的C(懲罰系數)和sigma(與支持向量的個數有關)
k最近鄰算法(k-nearest neighbors)中的k(鄰居個數)