回歸，我第一次看到回歸的時候，想的就是回歸是什么意思？后來看了一個答案解釋很有意思，回歸這個詞來自於生物學，在調查父母與子代身高問題的時候，發現父母如果過高的話，子女就會比父母矮一點，如果父母矮的話，子女又會比父母高，這使得身高不會向高矮倆個極端發展，而是趨於回到中心，后來做統計的時候引入統計學 ...

機器學習--分類問題 分類問題是監督學習的一個核心問題，它從數據中學習一個分類決策函數或分類模 型(分類器（classifier）)，對新的輸入進行輸出預測，輸出變量取有限個離散值。 決策樹 決策樹 ...

在機器學習的分類問題中，我們都假設所有類別的分類代價是一樣的。但是事實上，不同分類的代價是不一樣的，比如我們通過一個用於檢測患病的系統來檢測馬匹是否能繼續存活，如果我們把能存活的馬匹檢測成患病，那么這匹馬可能就會被執行安樂死；如果我們把不能存活的馬匹檢測成健康，那么就會繼續喂養這匹馬。一個代價是錯 ...

判別式模型和生成式模型的區別？ 判別方法：由數據直接學習決策函數 Y = f（X），或者由條件分布概率 P（Y|X）作為預測模型，即判別模型。 生成方法：由數據學習聯合概率密度分布函數 P（X,Y）,然后求出條件概率分布P(Y|X)作為預測的模型，即生成模型。 由生成模型可以得到判別模型 ...

1.凸集與凸函數 2.凸優化問題 3.拉格朗日乘子法 4.對偶問題,slater條件,KKT條件 1.凸集與凸函數 凸集：在點集拓撲學與歐幾里得空間中，凸集是一個點集，其中每兩點之間的直線上的點都落在該點集中。千言萬語不如一張圖來的明白，請看 ...

(1) 無監督和有監督算法的區別？ 有監督學習： 　　　　對具有概念標記（分類）的訓練樣本進行學習，以盡可能對訓練樣本集外的數據進行標記（分類）預測。這里，所有的標記（分類）是已知的。因此，訓練樣本的岐義性低。 無監督學習： 　　　　對沒有概念標記（分類）的訓練樣本進行學習，以發現訓練樣本 ...

偽代碼實現：LR、梯度下降、最小二乘、KNN、Kmeans; LR,SVM,XGBOOST推公式(手推) LR,SVM,RF,KNN，EM，Adaboost,PageRank，GBDT，Xgboost，HMM，DNN，推薦算法，聚類算法，等等機器學習領域的算法 基本知識： 1）監督與非監督 ...

，貝葉斯估計 線性判別分析 Fishre判別，特征向量求解 ...