最近訓練一個12層的cnn網絡
參考了vgg和googlenets的思想，自己做了些微調
在有噪聲的手寫體識別上達到了98.59%的准確率
在訓練時，前1000次，loss和acc就好像沒有收斂一樣
因為，神經網絡太深，參數太多
我們要用更多時間去使網絡提取到對應的參數
所以，一次訓練到3k次以上之后再看效果
在訓練的后期
train_acc = 0.997
varify_acc = 0.975的時候
我以為驗證集准確率不會要有多大提升了
但是，再又訓練了2k次之后
准確率提升了1%
超參數的選擇：
前期訓練是keep_prob=0.9, L2參數為0.01
為的是能讓網絡盡快收斂
后期的keep_prob 和L2參數自己根據網絡過擬合情況自己調整