anaconda docker 安裝教程

環境配置操作指南

環境配置操作指南

1 前言

這是一個python環境安裝配置指南，包括了不同環境下的Anacode安裝配置、docker安裝配置，以及免費環境的推薦使用方法。

2 Anaconda安裝

2.1 Window安裝anaconda

• 下載anaconda 官網下載地址：https://www.anaconda.com/download/

如果網速比較慢，可以通過網盤獲取鏈接: https://pan.baidu.com/s/18ZcJzl96CA1DizQizIc_uA 提取碼: r2mu

國內源下載 國內的 Anaconda 源很多，我比較推薦的有 清華源、中科大源。

例如使用清華源， 下載 Anaconda https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.02-Windows-x86_64.exe）

• 運行exe文件，默認下一步。

• 安裝完成后，可以通過anaconda navigator，直接運行jupyter notebook。

2.2 Linux安裝anaconda

• 下載 Anaconda 在Anaconda官網下載，比較費時：https://www.anaconda.com/download/

在清華大學開源軟件鏡像站下載：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。

• 安裝 Anaconda 打開terminal，打開下載文件的位置，運行 .sh 文件：

  bash Anaconda3-5.2.0-Linux-x86_64.sh
  

  進入注冊信息頁面，輸入yes，yes,enter，默認下一步，至完成。

  其中提示信息“Do you wish to proceed with the installation of Microsoft VSCode? [yes|no]”，輸入no；
  

• 重啟終端，即可使用Anaconda3；

• 若在終端輸入 python，仍然會顯示Ubuntu自帶的python版本，我們執行：

  sudo gedit ~/.bashrc
  export PATH="/home/xupp/anaconda3/bin:$PATH"
  source ~/.bashrc
  

    修改終端的默認 python 為 anaconda，至此全部完成。

3 Docker安裝

docker已經兼容了各種主流操作系統，Linux，MAC和Windows。Docker是開發人員和系統管理員開發、部署和運行帶有容器的應用程序的平台。是一種基於容器實現虛擬化技術的一種平台或技術。

3.1 Window安裝Docker

3.1.1 開啟虛擬化

確保任務管理器->性能->虛擬化為啟動狀態。

3.1.2 docker-toolbox和boot2docker下載

• 方法一：官網下載

docker-toolbox：https://get.daocloud.io/toolbox/

Boot2docker（尋找上面對應的版本進行下載）：https://github.com/boot2docker/boot2docker/releases/tag/v19.03.1

若無法使用默認VirtualBox，則下載最新的VirtualBox（下載鏈接為： https://download.virtualbox.org/virtualbox/6.0.14/VirtualBox-6.0.14-133895-Win.exe），按默認設置完成安裝。

• 方法二：百度雲盤下載：

鏈接：https://pan.baidu.com/s/1ZZquT-m8oYIdjcyOvcT7MQ

提取碼：y178

3.1.3 安裝

• 雙擊docker-toolbox

• 一路默認，安裝完成后桌面出現以下三個圖標：

• 雙擊Docker Quickstart Terminal 出現以下問題，缺少boot2docker，雙擊Docker Quickstart Terminal時會自動下載，但因為網絡原因下載會比較慢而報錯，這時候可以將二中的Boot2docker直接拷貝到以下路徑中。

注意：要運行Docker Quickstart Terminal后才能出現上圖顯示的路徑。

• 再次打開Docker Quickstart Terminal 出現小鯨魚，則啟動成功。

3.2 Linux安裝Docker

以Ubuntu18.04舉例：

• 安裝Docker

  sudo apt-get update
  

• 安裝依賴包

  sudo apt-get install apt-transport-https ca-certificates curl gnupg-agent software-properties-common
  

• 添加 Docker 的官方 GPG 密鑰

  curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
  

• 驗證您現在是否擁有帶有指紋的密鑰

  sudo apt-key fingerprint 0EBFCD88
  

• 設置穩定版倉庫

  sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"
  

• 安裝 Docker Engine-Community

  sudo apt-get update
  

• 安裝最新的Docker-ce

  sudo apt-get install docker-ce
  

• 啟動

  sudo systemctl enable docker
  sudo systemctl start docker
  

• 測試

  sudo docker run hello-world
  

3.3 docker的使用

• Docker image

  創建工作目錄和空Dockerfile:

  mkdir docker-data-science
  cd docker-data-science
  touch Dockerfile
  

  Here is our Dockerfile:

  # We will use Ubuntu for our image
  FROM ubuntu
  # Updating Ubuntu packages
  RUN apt-get update && yes|apt-get upgrade
  # Adding wget and bzip2
  RUN apt-get install -y wget bzip2
  # Anaconda installing
  RUN wget https://repo.continuum.io/archive/Anaconda3-5.0.1-Linux-x86_64.sh
  RUN bash Anaconda3-5.0.1-Linux-x86_64.sh -b
  RUN rm Anaconda3-5.0.1-Linux-x86_64.sh
  # Set path to conda
  ENV PATH /root/anaconda3/bin:$PATH
  # Updating Anaconda packages
  RUN conda update conda
  RUN conda update anaconda
  RUN conda update --all
  # Configuring access to Jupyter
  RUN mkdir /opt/notebooks
  RUN jupyter notebook --generate-config --allow-root
  RUN echo "c.NotebookApp.password = u'sha1:6a3f528eec40:6e896b6e4828f525a6e20e5411cd1c8075d68619'" >> /root/.jupyter/jupyter_notebook_config.py
  # Jupyter listens port: 8888
  EXPOSE 8888
  # Run Jupytewr notebook as Docker main process
  CMD ["jupyter", "notebook", "--allow-root", "--notebook-dir=/opt/notebooks", "--ip='*'", "--port=8888", "--no-browser"]
  

  創建 image，下載並安裝anaconda：

  docker build -t docker-data-science .
  

  查看建立的image：

  docker images
  
  docker run --name docker-data-science -p 8888:8888 -v "$PWD/notebooks:/opt/notebooks" -d docker-data-science
  

  在該路徑下打開jupyter，打開http://localhost:8888/

  結束：

  docker rm -f docker-data-science
  

Github

    git init
    echo "notebooks" > .gitignore
    git add .
    git commit -m "first commit"

    git remote add origin https://github.com/evheniy/docker-data-science.git
    git push -u origin master

    git clone https://github.com/evheniy/docker-data-science.git

Docker hub

    docker login
    # Make a new tag:
    docker tag docker-data-science evheniy/docker-data-science
    # push image:
    docker push evheniy/docker-data-science
    # pull image:
    docker pull evheniy/docker-data-science

3.4 安裝常見問題

電腦win10家庭版，安裝失敗：出現錯誤"Docker Desktop requires Windows 10 Pro or Enterprise version 14393 to run."。

這也涉及到了另外一種安裝方式：利用Windows的Hyper-v虛擬化技術，直接在Windows上安裝docker（先開啟Hyper-v，但Hyper-v與vmware workstation不兼容，后期想運行vmware workstation時還需要禁用Hyper-v，所以暫不推薦該方法）。需要嘗試的童鞋下載鏈接（https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe）

原因：win10必須為教育版或專業版參考，win7也會報同樣的錯誤。

處理方式：需要利用docker toolbox來安裝docker

4 免費環境推薦

4.1 Google colab 使用指南

Google Colaboratory是谷歌提供的基於linux系統的免費雲平台，內部已經集成了深度學習所需要的庫，比如Tensorflow（目前Version：2.2.0rc3）和Keras（目前Version: 2.3.1）等，一般情況下無需我們再做配置，直接上傳自己代碼就能用了。

• 注冊好賬號后，進入網址：https://drive.google.com/drive/my-drive

• 新建創建notebook：

• 設置加速器為GPU加速，大家可以在工具欄找到修改-->筆記本設置-->硬件加速器-->選擇GPU，這樣就可以在后面使用GPU加速啦。

• 裝載自己的Google雲端硬盤 -用以后面加載我們放在雲盤中的文件。方法：側邊欄-->文件-->裝載Google雲端硬盤。

• 輸入Linux命令時需要加上“！”，例如：

  !pip install psutil
  
  !pip install tqdm
  
  !pip install lightgbm
  
  !pip install numpy
  
  !pip install pandas
  

4.2 Kaggle notebook 使用指南

• 登陸https://www.kaggle.com/

• 點擊My profile->Kernels

• 新建一個notebook 導入對應的數據集，選擇使用GPU，就可以運行代碼了。

5 KDD比賽安裝

Step1: 國內同學替換清華源

Anaconda 鏡像使用幫助 mac/linux/windows用戶：按照清華提供的教程替換.condarc文件即可. 不要忘記 conda clean -i

Step2: 創建Anaconda虛擬環境

    conda create -n kdd python=3.6
    conda activate kdd

Step3: 安裝所需的包

    pip install psutil
    pip install tqdm
    pip install lightgbm  
    pip install numpy
    pip install pandas
    pip install cpython
    pip install libython

安裝GloVe： 要保證完成以上步驟后，再按照該網址https://blog.csdn.net/weixin_43459156/article/details/89504204 進行安裝操作（注意，若編譯安裝出錯，建議在下載mingw64，並設置/mingw64/bin為系統的環境變量）

Step4: 下載數據

在賽題發布網站注冊KDD Cup 2020 Challenges for Modern E-Commerce Platform: Debiasing並下載數據 按照自己的下載路徑修改baseline的487.488

    train_path = './data/underexpose_train'  
    test_path = './data/underexpose_test' 

    相關目錄樹如下
    ├── data
    │   ├── underexpose_test
    │   └── underexpose_train
    ├── GloVe-master
    ├── main.py
    └── requirements.txt

Step5: 跑通baseline

    conda activate kdd
    python main.py

參考網址：

https://www.runoob.com/docker/windows-docker-install.html https://www.cnblogs.com/yifanrensheng/p/12733319.html https://www.cnblogs.com/wanghuixi/p/12741670.html https://blog.csdn.net/weixin_42568366/article/details/105508026