LR（對數幾率回歸）
函數為\(y=f(x)=\frac{1}{1+e^{-(w^{T}x+b)}}\)。 由於輸出的是概率值\(p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}},p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}\)，所以求解使用極大似然估計來求解參數\(w,b\)。
為了方便表示，記\(\widehat{w}=(w;b),\widehat{x}=(x;1)\)
寫出似然函數$$\prod_{i=1}^{m}p(y=1|\widehat{x}{i},\widehat{w})^{y{i}}p(y=0|\widehat{x}{i},\widehat{w})^{1-y{i}}$$
對數似然函數$$ l(\widehat{w})=\sum_{i=1}^{m}y_{i}\ln p(y=1|\widehat{x}{i},\widehat{w})+(1-y{i})\ln p(y=0|\widehat{x}_{i},\widehat{w})$$
\[l(\widehat{w})=\sum_{i=1}^{m}y_{i}(\widehat{w}^{T}\widehat{x}_{i})-\ln (1+e^{\widehat{w}^{T}\widehat{x}_{i}}) \]
要讓每個樣本屬於其真實值的概率越大越好，故對\(-l(\widehat{w})\)最小化，由於\(l(\widehat{w})\)是關於\(\widehat{w}\)的高階可導連續函數，可用梯度下降法和牛頓法求解,最優解為$$\widehat{w}^{*}=\underset{\widehat{w}}{\arg min}-l(\widehat{w})$$