驗證集loss上升，准確率卻上升
驗證集loss上升，acc也上升這種現象很常見，原因是過擬合或者訓練驗證數據分布不一致導致，即在訓練后期，預測的結果趨向於極端，使少數預測錯的樣本主導了loss，但同時少數樣本不影響整體的驗證acc情況。ICML2020發表了一篇文章：《
Do We Need Zero Training Loss After Achieving Zero Training Error?》，描述了上述現象出現的原因，同時提出了一種flooding策略，通過超參數b控制訓練loss不要過小，阻止進一步過擬合，在此情況下，使model"random walk"至一個泛化能力更好的結果，親測flooding策略可以在部分情況下緩解上述問題。以下是關於這篇文章的介紹以及一下討論，會幫助理解。
kid丶：【論文】一行代碼發一篇ICML？。
validation loss 和 accuracy 不匹配的問題（尤其是cross entropy）已經有些工作專門去研究，代表作
Guo, Chuan, et al. "On calibration of modern neural networks." ICML 2017.
這個情況在實際項目中其實挺常見的，說白了loss也好, accuracy也好，都是很片面且脆弱的評估指標。與模型結構與數據分布都有很大關系。 具體如何選擇模型應該與應用場景強相關。
在我把所有分類信息打印出來之后發現是模型過於極端導致的，即模型會出現在正確分類上給出0.00..x的概率值，導致loss異常的高，超過20，因此極大的提高了平均loss，導致出現了loss升高，acc也升高的奇怪現象。
loss和准確率本身就不是完全正比的關系，loss只是方便優化的一種近似。假設題主代碼寫對的情況下，一種可能的原因是，那些大量正確分類的easy samples的損失之和，大於少數錯誤分類的樣本，因此優化loss反而會降低准確率，或者反過來，loss上升准確率也上升。
說了多少次了，不要看loss，loss波動很正常，loss設的不夠好導致部分上升占主導，掩蓋了另一部分的下降也很正常。
看acc，看參數統計量，這才是有效的。
REF
https://www.zhihu.com/question/291369144