機器學習linux系統環境安裝
安裝鏡像下載
課程使用最新的18.04.2鏡像即可,如果是物理機安裝,而且有GPU可用,可以參考課程給出的其他視頻安裝GPU版本的tensorflow。
系統鏡像有desktop版本和server版本,server版本完全不帶gui,只有命令行,不太適合日常用。
系統安裝
物理機安裝
雙系統安裝ubuntu,網上教程比較多,步驟比較繁瑣,這里不再贅述,有一些注意事項這里列一下:
- 雙系統安裝ubuntu,需要先在電腦硬盤上分出一個足夠大的分區,這種分區操作有可能是破壞性的,請參考你看的教程的說明
- 物理機安裝需要准備一個U盤用於制作啟動盤,666一下ubuntu啟動U盤制作即可。
- 由於物理機安裝有可能會破壞磁盤結構,所以安裝前需要小心備份主機上所有的數據。
- 如果是比較新的筆記本,bios里面可能啟動了secure boot,這種時候需要先禁用secure boot再進行安裝
- bios如果支持legacy方式,盡量使用legacy方式安裝雙系統,eif模型安裝ubuntu雙系統的時候,因為efi啟動系統一般只認識/boot/efi/bootx64.efi,所以可能需要額外的設置才能啟動系統。但是如果原來就是efi模式啟動的windows,改成legacy可能無法啟動。
- 系統內存比較小的話,盡量多使用交換區,但是交換區的速度很慢,需要注意
直接使用物理機安裝ubuntu的話,由於機器不同,操作者經驗的多寡,安裝過程中肯定會出現各種問題,勤666,不是太詭異的機器,一般都能找到解決辦法。
atom平台的機器,如atom n280之類的一些上網本,因為機器不支持64位指令集,所以無法安裝64位系統,可以安裝32位的
虛擬機安裝
教程使用virtualbox虛擬機進行安裝,其他虛擬機如vmware是收費的,這里不做說明。windows的HyperV也可以用來安裝ubuntu,性能也沒什么大問題。
虛擬機軟件下載
到這里下載virtualbox的安裝文件,記得把ext包也下載了安裝好。
需要去bios啟動intel虛擬化,才能使用64位虛擬機安裝。
新建虛擬機
新建一個ubuntu的虛擬機,虛擬機軟件本身已經很智能,只要輸入名字就可以匹配對應的系統了。
新建虛擬機的時候,注意在自己硬盤上空間足夠大的情況下,給虛擬機分配足夠大的硬盤空間。
內存也是在自己內存足夠的情況下分配盡可能大的內存。
虛擬CPU,如果自己主機的cpu比較好的話,可以多給虛擬機分幾個CPU,虛擬機的運行會快得多。
安裝過程
虛擬機里面的系統啟動后,界面可能不夠大,需要擴大一下窗口
選擇語言
選擇語言的界面什么提示都沒有,這里需要按上下左右並按回車來確認語言選擇。
准備安裝ubuntu
這里一定不要選擇安裝的時候下載ubuntu更新,安裝完成之后再進行系統更新
安裝類型
如果是在虛擬機里面,一般直接選擇清除整個磁盤並安裝Ubuntu是最省事的做法,但是我們這里需要自己設置一下交換區,所以選擇其他選項。
如果是在物理機上進行雙系統安裝,情況還要復雜一點,需要事先規划好磁盤的空間。
分區
- 分區需要至少指定一個根分區和一個交換區,交換區推薦的容量是內存容量的兩倍。
- 分區格式中,ext4是個比較不錯的選擇,如果虛擬機建立在ssd上,那么btrfs也是一個不錯的選擇。
- 安裝啟動引導器的設備一般使用默認的就可以
物理機安裝的時候,引導設備需要小心選擇,linux會覆蓋windows的引導設置,linux裝好了,windows卻啟動不起來的情況經常出現
地區設置
按照實際的地區設置即可,國內用戶直接選擇上海即可。
設置用戶名
按照自己的喜好進行設置即可,請一定記住設置的密碼。自動登錄可以勾選,但是不建議。
加密我的主目錄這個如果不是非常特殊的情況,一般不要選擇。
安裝
安裝過程很長,而且中間還要自動下載一些東西,如果不想等待,可以選擇關掉虛擬機的網絡,等跳過下載之后再打開網絡
安裝完成,虛擬機系統自動重啟
安裝完成之后,推薦利用snapshot功能創建一個還原點,以備不時之需。
安裝完成之后的設置
apt源更換
ubuntu默認的鏡像源地址在海外,國內的鏡像源地址也不一定好使,可以考慮使用國內的鏡像源:
sudo nano /etc/apt/sources.list
國內鏡像源可以使用的有tuna,ali,163等,具體使用方式參考各鏡像源的幫助文件
tuna的source文件內容,僅適用於ubuntu-18.04:
# 默認注釋了源碼鏡像以提高 apt update 速度,如有需要可自行取消注釋
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
# deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
# deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
# deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
# deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
# deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
系統安裝完成后,先執行系統更新,更新完后建議重啟一下系統:
sudo apt-get update
sudo apt-get upgrade
sudo reboot
機器學習環境安裝
安裝pip:
sudo apt-get install python3-pip
這里安裝的是python3版本的pip,鑒於python2已經開始宣布停止支持的計划,如果沒有特殊需要的話,以后一律使用python3.
pypi的源也在海外,速度比較慢,推薦可以使用國內douban,ali等的鏡像源
nano ~/.pip/pip.conf
如果沒有這個目錄和文件的話,手動創建一個就可以。
douban的pip.conf配置:
[global]
index-url = https://pypi.douban.com/simple
[install]
trusted-host=pypi.douban.com
ali的pip.conf配置:
[global]
index-url = http://mirrors.aliyun.com/pypi/simple
[install]
trusted-host = mirrors.aliyun.com
tuna的pip.conf配置:
[global]
index-url = https://pypi.tuna.tsinghua.edu.cn/simple
[install]
trusted-host=pypi.tuna.tsinghua.edu.cn/simple
安裝jupyter notebook,xgboost,lightgbm,scikit-learn
pip3 install jupyter xgboost lightgbm scikit-learn
我們使用的是ubuntu18.04.2版本的系統,pip安裝的東西默認放到當前用戶的home目錄下的.local目錄里面,僅供當前用戶使用,所以可以不用加sudo。
安裝完成之后,需要執行以下這個命令,或者將這個命令,放到你的.bashrc:
export PATH=$PATH:$HOME/.local/bin
很多系統都是自動做了這個設置,不知道為啥這個系統需要手動做這個設置
機器學習環境的使用
執行以下命令,可以在虛擬機內部直接開啟notebook:
jupyter notebook
需要注意的是,命令行窗口里面運行的實際就是notebook的server進程,使用的時候,一定不能關掉,否則server也會被一起關掉。
notebook默認是在localhost上開啟的,如果想要在虛擬機外部訪問notebook,需要執行以下操作:
jupyter notebook password # 設置密碼,用於登錄
jupyter notebook --ip 0.0.0.0 #在0.0.0.0的地址上,接收所有的網絡連接,不加ip參數,默認是只能在虛擬機內部使用
此時在外部就可以通過設置的密碼和虛擬機的ip來訪問虛擬機內部的noteboook了。
虛擬機的ip可以通過ip addr命令查看,虛擬機的ip可能是內部ip,所以虛擬機的網絡需要從nat方式切換為橋接模式。切換網卡模式之后,需要讓虛擬機網絡重啟一下。
配套視頻:https://edu.csdn.net/course/detail/7433
BIilibili視頻:https://www.bilibili.com/video/av20786168/
