大數據集快速上傳到colab方法分享


如果在colab進行煉丹,數據集上傳是個頭疼的問題,稍微大一點的數據,傳到谷歌雲盤或者colab都是很慢的速度

本地測試上傳要給500m的數據到谷歌雲盤,需要50分鍾

這里分享一個方法,先上傳到onedriver,然后colab去下載分享文件

先把文件上傳到onedriver,免費用戶提供5g空間,一般訓練數據集夠用了

 

上傳完后分享文件,然后點擊下載,這里使用chrome進行操作,進入到下載內容里面,先停止

如下雙擊即可下載

右鍵復制這個地址就行了

然后在colab里面,使用curl命令即可下載文件

curl 復制的鏈接 \
--output 下載文件路徑

使用如上命令即可完成下載,可以看到上圖中下載速度還是很快的,有30M每秒了

 實測大概500M的文件,上傳到onedriver大概3-5分鍾,下載不到30秒,比直接上傳谷歌雲盤快多了

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM