前情回顧
機器學習100天|Day1數據預處理
100天搞定機器學習|Day2簡單線性回歸分析
100天搞定機器學習|Day3多元線性回歸
100天搞定機器學習|Day4-6 邏輯回歸
100天搞定機器學習|Day7 K-NN
100天搞定機器學習|Day8 邏輯回歸的數學原理
100天搞定機器學習|Day9-12 支持向量機
100天搞定機器學習|Day11 實現KNN
100天搞定機器學習|Day13-14 SVM的實現
100天搞定機器學習|Day15 朴素貝葉斯
Day17，Avik-Jain開始在Coursera深度學習的專業課程，完成第1周和第2周內容以及學習課程中的邏輯回歸、神經網絡，並用Python實現一個神經網絡。
Day4-6我們已經學習過邏輯回歸模型。
但是當時並沒有擴展性的深入探討，畢竟這個模型十分簡單易懂。其實模型之間是有關聯的，比如Logistic Regression引出SVM回歸模型。
首先，我們再回歸一下Logistic Regression
邏輯回歸進行分類的主要思想是：根據現有數據對分類邊界線建立回歸公式，以此進行分類。我們想要的函數應該是，能接受所有的輸入然后預測出類別。例如，對於而分類問題，該函數應該返回0或1。
邏輯回歸假設函數如下
它對θTX作了一個函數g變換，映射至0到1的范圍之內，而函數g稱為sigmoid function或者logistic function，函數圖像如下圖所示。
邏輯回歸是用來得到樣本屬於某個分類的概率，當輸入z等於0時，Sigmoid函數值為0.5。隨着z的增大，對應的函數值趨近於1；隨着z的減小，對應的函數值趨近於0。
然后，我們通過邏輯回歸引出SVM
我們發現hθ(x)只與θTX有關，θTX＞0，則hθ(x)＞0.5.g(z)只不過是用來映射，真實的類別決定權還在θTX。模型達到的目標無非就是讓訓練數據中y=1的特征θTX>>0，而是y=0的特征θTX<<0。Logistic回歸就是要學習得到θ，使得正例的特征遠大於0，負例的特征遠小於0，強調在全部訓練實例上達到這個目標。
上圖中間那條線是θTX=0，logistic回顧強調所有點盡可能地遠離中間那條線，學習出的結果也就中間那條線。這樣我們可以得出結論，我們更應該關心靠近中間分割線的點，讓他們盡可能地遠離中間線，而不是在所有點上達到最優。
然后，看看邏輯回歸的代價函數
當y=1時，並將z=θTx帶入其中， 損失函數圖像進行少量修改就能得到SVM損失函數圖像，取z=1的點作為分界點畫一條和邏輯回歸很接近的線性圖像得到上圖中玫紅色的直線，稱其為Cost1(z)。 y=0，類似地得到Cost0(z)。
從 邏輯回歸 處修改后得到的基本公式為： 
因為人們在使用邏輯回歸和支持向量機時遵循的規則不同，有些地方還需要修改 ，在上述式子中的損失部分和正則化部分都去掉 1/m 項
在邏輯回歸中使用λ來平衡樣本的損失函數項和正則化項，而在SVM中，使用C來平衡.
最終的SVM的表達式：
在這里，當最小化代價函數，獲得參數 θ 時，支持向量機所做的是它來直接預測 y 的值等於 1，還是等於 0。所以學習參數 θ 就是支持向量機假設函數的形式。
另：詳細過程建議大家觀看吳恩達課程原版機器學習公開課
https://www.coursera.org/course/ml
--------------回歸正題分割線--------------
神經網絡又與邏輯回歸什么關系呢？先說結論：
邏輯回歸是沒有隱藏層的神經網絡
邏輯回歸引出神經網絡的過程，我認為李宏毅的機器學習課程最為巧妙。
首先Logistic回歸是有局限性的，對於線性不可分的數據沒有辦法分類。
比如上面這種情況，就沒有辦法使用一條直線進行分類。
一個解決方法是可以通過轉換特征空間方法解決異或問題，線性不可分的數據在特征轉化后可以很好地被紅色直線區分開。 但是不能總是通過依賴手工的方法來找到一個好的轉換，這就違背了機器學習的本質。
so，Logistic回歸可以看做是兩層神經元，激活函數是Sigmoid函數的神經網絡。左邊兩個Sigmoid函數作用是特征轉換，右邊作用是分類。
Logistic回歸連接在一起就是深度學習的基本結構。
