最近在做天池的項目。剛入行,沒有gpu,內存只有8g。i5的筆記本。可憐啊。隔三差五的就崩潰一次。千辛萬苦算是把數據處理完了。可是計算模型,真的不敢想啊。
最快的是跑了一個決策樹,10多分鍾吧。還能接受。但是效果不太理想。xgboost斗膽試了一次,跑了8個小時,崩潰了。
尋求幫助吧。
百度的飛漿不會用。
天池摳逼,就提供了個cpu2核,內存好像是8g。還不如我的電腦了。gpu還有單收費,每月2000.恨啊!
google是不錯,要FQ啊。
天助我也,用kaggle!免FQ,還有gpu、tpu提供!!!!必須贊一個,這也是格局!有閑功夫參賽的都是苦逼窮人黨。
1、注冊kaggle
啥也不說 https://www.kaggle.com/
關鍵問題來了,系統一直提示驗證碼。可是顯示不出來啊。最后才知道,驗證碼被強了。
谷歌上網助手
天降又一神器!!安裝了這個chrome插件,相當於部分FQ了。必須再贊一個!
當然,第一次按照提示我 免費12小時。我還沒研究怎么.....
不過真的很牛逼,可以上Google了!!!!
安裝方法,自行百度吧。
kaggle kernel
就是kaggle提供的在線版的notebook。你也可以導入自己的notebook。還可以像git一樣,提交代碼。非常方便。
最關鍵的是,人家給你gpu、tpu啊!神啊!
加載自己的數據集
為了減少大家的擁擠,給更多人的提供服務,kaggle設定了一次的使用時間。建議不要用太久。那就自己把處理好的數據集上傳上去吧。
問題來了,上傳速度,忽略不計啊。咋辦?因為我剛剛刪了谷歌上網助手。又重新安裝了,上傳速度賊快。55m的數據,用了不到1分鍾啊。
使用gpu
運行代碼發現,只有CPU啊。沒看到GPU呢?后來發現,要想使用GPU,setting里面還有個驗證手機號。這個簡單。
通過后發現,竟然還有TPU。太激動了。
GPU、TPU限制為每周使用不超過30小時。
xgboost使用 GPU
查了查文檔
增加了三個參數
gpu_id=0,
single_precision_histogram=True,
tree_method='gpu_hist'
現在正在運行中.....
輸出文件
輸出文件不用指定目錄,直接 .to_csv('df.csv')。
昨天我還指定目錄了,結果浪費了10個小時,啥也沒看到。
網速不穩
外國的網,沒辦法。早上 連 www.kaggle.com 都訪問不了了。
不停的刷,刷到自己都快崩潰了
太難了