等風的鳥原創出品，轉載須經同意並附帶說明及地址。 　　邏輯回歸應該是機器學習里入門級的算法了，但是越是簡單的東西越是難以掌控的東西，因為你會覺得簡單而忽視掉這個點，但恰恰這個點包含了機器學習的基本內容，學習的框架。 　　很多人學機器學習，人工智能可能就是為了更高的薪水，更好的就業前景 ...

仍然是一篇入門文，用以補充以前文章中都有意略過的部分。 之前的系列中，我們期望對數學並沒有特別喜好的程序員，也可以從事人工智能應用的開發。但走到比較深入之后，基本的數學知識，還是沒辦法躲過的。 導言 所有的深度學習，始於一個最簡單的公式： $$ y=ax+b $$ 如果不理解 ...

　　在機器學習中，我們構建的模型，大部分都是通過求解代價函數的最優值進而得到模型參數的值。那么，對於構建好的目標函數和約束條件，我們應該如何對其進行求解呢！ 在機器學習中，最常用的優化方法是梯度下降法。梯度下降法或最速下降法是求解無約束最優化問題的一種最常用的方法，有實現簡單的優點 ...

先來回顧一下梯度下降法的參數更新公式： （其中，α是學習速率，是梯度） 這個公式是怎么來的呢？下面進行推導： 首先，如果一個函數 n 階可導，那么我們可以用多項式仿造一個相似的函數，這就是泰勒展開式。其在a點處的表達式如下： 可以看出，隨着式子的展開，這個展 ...

本文始發於個人公眾號：TechFlow，原創不易，求個關注 在之前的文章當中，我們一起推導了線性回歸的公式，今天我們繼續來學習上次沒有結束的內容。 上次我們推導完了公式的時候，曾經說過由於有許多的問題，比如最主要的復雜度問題。隨着樣本和特征數量的增大，通過公式求解的時間會急劇 ...

在機器學習的優化問題中，梯度下降法和牛頓法是常用的兩種凸函數求極值的方法，他們都是為了求得目標函數的近似解。在邏輯斯蒂回歸模型的參數求解中，一般用改良的梯度下降法，也可以用牛頓法。由於兩種方法有些相似，我特地拿來簡單地對比一下。下面的內容需要讀者之前熟悉兩種算法。 梯度下降法 梯度下降法用來 ...

之前整理過一篇關於邏輯回歸的帖子，但是只是簡單介紹了一下了LR的基本思想，面試的時候基本用不上，那么這篇帖子就深入理解一下LR的一些知識，希望能夠對面試有一定的幫助。 1、邏輯斯諦分布 介紹邏輯斯諦回歸模型之前，首先看一個並不常見的概率分布，即邏輯斯諦分布。設X是連續 ...

上一篇我們實現了使用梯度下降法的自適應線性神經元，這個方法會使用所有的訓練樣本來對權重向量進行更新，也可以稱之為批量梯度下降（batch gradient descent）。假設現在我們數據集中擁有大量的樣本，比如百萬條樣本，那么如果我們現在使用批量梯度下降來訓練模型，每更新一次權重向量，我們都要 ...