痛苦一覺醒來訓練半小時
1.nohup
用途：不掛斷地運行命令。
語法：nohup Command [ Arg … ] [ & ]
無論是否將 nohup 命令的輸出重定向到終端，輸出都將附加到當前目錄的 nohup.out 文件中。
如果當前目錄的 nohup.out 文件不可寫，輸出重定向到 $HOME/nohup.out 文件中。
如果沒有文件能創建或打開以用於追加，那么 Command 參數指定的命令不可調用。
退出狀態：該命令返回下列出口值：
126 可以查找但不能調用 Command 參數指定的命令。
127 nohup 命令發生錯誤或不能查找由 Command 參數指定的命令。
否則，nohup 命令的退出狀態是 Command 參數指定命令的退出狀態。
用一般連接服務器軟件，在訓練模型時，如果軟件與服務器連接斷開，則訓練中斷，有以下兩個命令非常好用：
nohup python train.py 參數 & 這條命令很方便，比如你訓練時在(python train.py 參數 )前面加nohup命令，后面加&就可以。默認將當前的輸出打印在當前目錄的nohup.out文件里，隨時連接可以查看，也不怕斷開連接訓練不會繼續
screen 這個命令也可以讓訓練在后台進行，我不常用，具體用法可以搜一下
2.screen
1 鏈接服務器.
2 利用screen 命令 ，重起一個新的screen.
screen -S name(新screen的名字，可以任起）
3 開始訓練.
4 可以斷開terminal，此時訓練不受影響.
************************************************
1 啟動terminal，查看存在的screen的命令.
screen -ls
screen -r 30362
2 斷開當前的screen.
按 Ctrl + A， 然后 K 鍵
參考
https://www.cnblogs.com/baby123/p/6477429.html
https://zhuanlan.zhihu.com/p/32496193