*** Aborted at 1509437177 (unix time) try "data -d @1509437177" if you are using GNU date ***
訓練過程中出現上圖錯誤。初步猜想是數據集的原因。重新下載了lmdb數據,等待測試。
訓練過程中有保存迭代10000次時的snapshot,所以我試着從這個節點恢復訓練,目前已經順利的進行13000次迭代了,訓練還在繼續。所以我還是不知道到底是哪里出了問題,但是現在模型又可以正常訓練了。
等過了今晚,看看是否還正常吧。
要崩潰了!!! 程序又停了。
這次出現了Bus error, 據群里的一個大神說,這是主板問題。 好吧,我要崩潰了。
=================================================================================
問題解決:下載的lmdb數據有問題,不完整。 data.mdb完整大小是202.8G
同時也說明,caffe在讀取訓練數據了,即便從snapshot處開始,仍然是從lmdb數據開頭重新讀取的。