//2019.10.08
神經網絡與全連接層
1、logistics regression
邏輯回歸的思想是將數據利用激活函數sigmoid函數轉換為0-1的概率，然后定義一定的閾值0.5，大於閾值則為一類，小於閾值則為另一類。它主要用來解決的是二分類問題，也可以通過一定的變形解決多分類的問題。
2、對於邏輯回歸其實質是分類算法，為什稱之為回歸，主要是因為其優化的函數類似於回歸問題的loss函數，而將其稱之為邏輯主要是因為利用了sigmoid函數。
圖
3、回歸問題和分類問題的loss函數是不一樣：
(1)回歸問題：MSE
(2)分類問題：
1)MSE(P)
2)cross entropy loss
3)Hinge Loss
圖
4、cross entropy loss交叉熵：主要是指整體預測的不確定性，即熵的概念，熵的值越大，說明其確定性越低，概率分布越接近；熵的值越小，說明確定性越高，概率預測分布相差越大，越逼近極端的0或者1。
圖123
5、交叉熵函數cross_entropy=softmax+log+null_loss函數
圖
6、激活函數主要有以下幾種：sigmoid函數、tanh函數、Relu函數，改進版Relu函數，selu函數，softplus函數
7、一個神經網絡層結構的搭建組成具體如下所示：
