GBDT和xgboost在競賽和工業界使用都非常頻繁，能有效的應用到分類、回歸、排序問題，雖然使用起來不難，但是要能完整的理解還是有一點麻煩的。本文嘗試一步一步梳理GB、GBDT、xgboost， ...

決策樹模型在監督學習中非常常見，可用於分類（二分類、多分類）和回歸。雖然將多棵弱決策樹的Bagging、Random Forest、Boosting等tree ensembel 模型更為常 ...

1.熵與最大熵原理 熵是隨機變量不確定性的度量，不確定性越大，熵值就越大；若隨機變量退化成定值，熵為0。均勻分布是“最不確定”的分布 假設離散隨機變量X的概率分布為P(x)，則其熵為： 聯合 ...

課程地址：https://class.coursera.org/ntumltwo-002/lecture 重要！重要！重要~ 一、決策樹（Decision Tree）、口袋（Baggi ...

在微博上看到七月算法寒老師總結的完整機器的學習項目的工作流程，結合天池比賽的經歷寫的。現在機器學習應用非常流行，了解機器學習項目的流程，能幫助我們更好的使用機器學習工具來處理實際問題。 ...

集成學習是機器學習算法中非常強大的工具，有人把它稱為機器學習中的“屠龍刀”，非常萬能且有效，在各大機器學習、數據挖掘競賽中使用非常廣泛。它的思想非常簡單，集合多個模型的能力，達到“三個 ...

cppjieba分詞包主要提供中文分詞、關鍵詞提取、詞性標注三種功能 一、分詞 　　cppjieba分詞用的方法是最大概率分詞（MP）和隱馬爾科夫模型（HMM），以及將MP和HMM結合成的MixS ...

1. 正則化概述（Regularization） 監督學習可以簡單的理解為在最小化loss function 的同時，保證模型的復雜度盡可能的低，防止出現過擬合（overfit ...

課程地址：https://class.coursera.org/ntumltwo-002/lecture 之前看過別人的競賽視頻，知道GBDT這個算法應用十分廣泛。林在第八講，簡單的介紹了AdaBo ...

課程地址：https://class.coursera.org/ntumltwo-002/lecture 重要！重要！重要~ 一、隨機森林（RF） 1.RF介紹 RF通過Baggin ...