歸納偏置/歸納偏差/inductive bias
“歸納偏差”中的“偏差”容易讓人想到數據估計中估計值與真實值的差別error，會讓人認為“歸納偏差”是某種需要被規避的錯誤、誤差，但事實並非如此，inductive bias在機器學習中起到的是積極作用。
更合適的翻譯應該是“歸納偏置”：歸納是自然科學中常用的兩大方法（歸納與演繹，induction and deduction)之一,指的是從一些例子中尋找共性、泛化，形成一個比較通用的規則的過程；而“bias”“偏置”是指我們對模型的偏好。因此歸納偏置可以理解為，從現實生活中觀察到的現象中歸納出一定的規則，然后對模型做一定的約束，從而可以起到“模型選擇”的作用，即從假設空間中選擇出更符合現實規則的模型。類似貝葉斯學習中的“先驗，prior”，但與“先驗”不同的是，“先驗”一般是確定性的已知、知識，而“偏置”更傾向於是一種經驗性的假設。
歸納偏置在機器學習中幾乎無處不在。具體的例子可以參考文末資料，筆者說一下自己想到的一個簡單例子。
比如，我們考慮一組（0，0）（1，1）...（i，i）...（n,n）的點，當我們要學習一個模型來模擬x到y的映射時，我們最希望的是模型學習到y=x這個線性映射，可實際上符合這些樣本點的映射有無窮多種，如果我們在非線性映射空間進行學習的話，學習過程就會十分復雜，因此我們在某些情況下就會做出“我們假定這是一個線性映射”這樣的假設，之后在此假設的基礎上對模型進行學習，這里的“我們假定這是一個線性映射”就是基於先驗知識等所作出的歸納偏置；而當我們在線性映射空間進行學習時，也有可能得到無限種映射，此時我們會根據奧卡姆剃刀原則選擇“盡可能簡單的模型”。奧卡姆剃刀是機器學習中最典型的一種歸納偏置。
作用：
機器學習中的歸納偏置可以提高模型的泛化性。例如在上文的例子中，如果我們在采樣中遇到了噪音（0，10），（7，-20）...，等就很可能會使得對泛化性更強的映射y=x學習的失敗，從而學習到一個“過擬合”的模型，而在我們加入“線性映射”、“奧卡姆剃刀”等歸納偏置后，就會更容易學習到在目標域更具有泛化性、通用性的映射y=x（模型）
總結：
inductive bias更合適的翻譯是歸納偏置而非歸納偏差，它是一種在模型的無限解空間中所引入的合理假設與約束，這類假設、約束能夠縮小求解空間並提高所得模型在目標域的泛化性。
參考資料：
https://www.cnblogs.com/Lee-yl/p/13272259.html
https://www.zhihu.com/question/264264203/answer/492568154
https://zhuanlan.zhihu.com/p/89745668