keras模塊之-優化器（optimizers）--筆記

     本筆記由博客園-圓柱模板 博主整理筆記發布，轉載需注明，謝謝合作!

       優化器是調整每個節點權重的方法，如：

model = Sequential() 
model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh')) 
model.add(Activation('softmax')) 
sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='mean_squared_error', optimizer=sgd)

　　可以看到優化器在模型編譯前定義，作為編譯時的兩個參數之一

     代碼中的sgd是隨機梯度下降算法 
lr表示學習速率 
momentum表示動量項 
decay是學習速率的衰減系數(每個epoch衰減一次) 
Nesterov的值是False或者True，表示使不使用Nesterov momentum

以上4個參數以后具體學習了再解析

除了sgd，還可以選擇的優化器有RMSprop（適合遞歸神經網絡）、Adagrad、Adadelta、Adam、Adamax、Nadam