邏輯回歸可以用於處理二元分類問題,將輸出值控制在[0,1]區間內,為確保輸出值時鍾若在0到1之間,采用sigmoid函數,其具有該特性,將線性回歸訓練得到的模型輸出數據作z = x1*w1+x2*w2+...+xn*wn+b代入得到y,保證了y在0~1之間
邏輯回歸中用到sigmoid函數,若用均方誤差則為非凸函數,有多個極小值,采用梯度下降法容易現如局部最優解中
因此在二元邏輯回歸的損失函數一般采用對數損失函數
y'是x代入得到的預測值,介於0~1之間的;
若標簽值為1,我們希望預測的結果也是越接近1越好,越接近說明損失越小 =》》后項1 - y為 0 直接消掉,則-y log(y')中y'越接近1,則式子越接近0 ,損失和越小
同理,若標簽值為0,則前項消掉,后項-log(1 - y')預測值越接近0,式子越小
softmax可以解決多元分類問題