如果在colab進行煉丹,數據集上傳是個頭疼的問題,稍微大一點的數據,傳到谷歌雲盤或者colab都是很慢的速度
本地測試上傳要給500m的數據到谷歌雲盤,需要50分鍾
這里分享一個方法,先上傳到onedriver,然后colab去下載分享文件
先把文件上傳到onedriver,免費用戶提供5g空間,一般訓練數據集夠用了
上傳完后分享文件,然后點擊下載,這里使用chrome進行操作,進入到下載內容里面,先停止
如下雙擊即可下載
右鍵復制這個地址就行了
然后在colab里面,使用curl命令即可下載文件
curl 復制的鏈接 \ --output 下載文件路徑
使用如上命令即可完成下載,可以看到上圖中下載速度還是很快的,有30M每秒了
實測大概500M的文件,上傳到onedriver大概3-5分鍾,下載不到30秒,比直接上傳谷歌雲盤快多了