注：本系列所有博客將持續更新並發布在github上，您可以通過github下載本系列所有文章筆記文件 1 引言 線性回歸算法應該是大多數人機器學習之路上的第一站，因為線性回歸算法原理簡單清晰，但卻囊括了擬合、優化等等經典的機器學習思想。去年畢業時參加求職面試就被要求介紹線性回歸算法，但由於當初 ...

1. Classification 這篇文章我們來討論分類問題（classification problems），也就是說你想預測的變量 y 是一個離散的值。我們會使用邏輯回歸算法來解決分類問題。 之前的文章中，我們討論的垃圾郵件分類實際上就是一個分類問題。類似的例子還有很多，例如一個在線 ...

一、邏輯回歸的概念 邏輯回歸又稱logistic回歸分析，是一種廣義的線性回歸分析模型，常用於數據挖掘，經濟預測等領域。邏輯回歸從本質來說屬於二分類問題，是基於Sigmoid函數（又叫“S型函數”）的有監督二類分類模型。 二、Sigmoid函數 Sigmoid函數公式 ...

1、邏輯函數 假設數據集有n個獨立的特征，x1到xn為樣本的n個特征。常規的回歸算法的目標是擬合出一個多項式函數，使得預測值與真實值的誤差最小： 而我們希望這樣的f(x)能夠具有很好的邏輯判斷性質，最好是能夠直接表達具有特征x的樣本被分到某類的概率。比如f(x)>0.5的時候能夠表示 ...

注：最近開始學習《人工智能》選修課，老師提綱挈領的介紹了一番，聽完課只了解了個大概，剩下的細節只能自己繼續摸索。 從本質上講：機器學習就是一個模型對外界的刺激（訓練樣本）做出反應，趨利避害（評價標准）。 1. 什么是邏輯回歸？ 許多人對線性回歸都比較熟悉，但知道邏輯回歸的人可能就要 ...

1 無約束形式的soft-SVM 我們知道，soft-SVM的一般形式是： 這里我們把松弛變量ξn寫成下面的形式（這里其實就是松弛變量的定義，如果這個點不違反硬條件，則它的松弛變量為0，否則的 ...

一、基礎理解 決策邊界：在特征空間內，根據不同特征對樣本進行分類，不同類型間的分界就是模型針對該數據集的決策邊界。 決策邊界，用於分類問題中，通過決策邊界可以更好的可視化分類結果； ...

邏輯回歸詳細推導：http://lib.csdn.net/article/machinelearning/35119 面試常見問題：https://www.cnblogs.com/ModifyRong/p/7739955.html 1、LR和SVM有什么相同點 　　（1）都是監督分類 ...