有關智能優化算法：
參考學習：
https://blog.csdn.net/qq_25225255/article/details/82355211
https://blog.csdn.net/sinat_32547403/article/details/73008127
0>梯度下降
1>進化類算法
遺傳算法
差分進化算法
免疫算法
2>群智能算法
粒子群（PSO）
蟻群（ACO）
3>模擬退火算法
4>禁忌搜索算法
5>網格搜索法 分離間隔優化
參考學習：https://blog.csdn.net/sinat_32547403/article/details/73008127
有關分類算法：
決策樹：
1.復雜的情況下也是一樣，對於每一個特征，找到一個使得Gini值最小的分割點（這個分割點可以是>,<,>=這樣的判斷，也可以是=，!=），然后比較每個特征之間最小的Gini值，作為當前最優的特征的最優分割點（這實際上涉及到了兩個步驟，選擇最優特征以及選擇最優分割點）。
2.在第一步完成后，會生成兩個葉節點，我們對這兩個葉節點做判斷，計算它的Gini值是否足夠小（若是，就將其作為葉子不再分類）
3.將上步得到的葉節點作為新的集合，進行步驟1的分類，延伸出兩個新的葉子節點（當然此時該節點變成了父節點）
4.循環迭代至不再有Gini值不符合標准的葉節點、
隨機森林：
鑒於決策樹容易過擬合的缺點，隨機森林采用多個決策樹的投票機制來改善決策樹，我們假設隨機森林使用了m棵決策樹，那么就需要產生m個一定數量的樣本集來訓練每一棵樹，如果用全樣本去訓練m棵決策樹顯然是不可取的，全樣本訓練忽視了局部樣本的規律，對於模型的泛化能力是有害的
貝葉斯分類·
設每個數據樣本用一個n維特征向量來描述n個屬性的值，即:X={x1，x2，…，xn}，假定有m個類，分別用C1, C2,…，Cm表示。給定一個未知的數據樣本X(即沒有類標號)，若朴素貝葉斯分類法將未知的樣本X分配給類Ci，則一定是
P(Ci|X)>P(Cj|X) 1≤j≤m，j≠i 根據貝葉斯定理
由於P(X)對於所有類為常數，最大化后驗概率P(Ci|X)可轉化為最大化先驗概率P(X|Ci)P(Ci)。如果訓練數據集有許多屬性和元組，計算P(X|Ci)的開銷可能非常大，為此，通常假設各屬性的取值互相獨立，這樣
先驗概率P(x1|Ci)，P(x2|Ci)，…，P(xn|Ci)可以從訓練數據集求得。
根據此方法，對一個未知類別的樣本X，可以先分別計算出X屬於每一個類別Ci的概率P(X|Ci)P(Ci)，然后選擇其中概率最大的類別作為其類別。朴素貝葉斯算法成立的前提是各屬性之間互相獨立。當數據集滿足這種獨立性假設時,分類的准確度較高，否則可能較低。另外，該算法沒有分類規則輸出。
KNN:
根據鄰近樣本決定測試樣本的類別。
kmeans:
kmeans的計算方法如下：
1 隨機選取k個中心點
2 遍歷所有數據，將每個數據划分到最近的中心點中
3計算每個聚類的平均值，並作為新的中心點
4 重復2-3，直到這k個中線點不再變化（收斂了），或執行了足夠多的迭代
增量學習：
不斷從新樣本中學習新知識，並保存大部分以前已經學過的知識。