從 0 開始使用 Docker 快速搭建 Hadoop 集群環境

由於種種原因，簡書等第三方平台博客不再保證能夠同步更新，歡迎移步 GitHub：https://github.com/kingcos/Perspective/。謝謝！

Hadoop with Docker

Date	Notes	Hadoop	Other
2017-03-27	首次提交	2.7.2	Docker CE, Intellij IDEA 2016.3

Preface

自從學習 iOS/Swift 以來，就沒有太多時間分配給 Java 專業課，畢竟我不是個三心二用還能樣樣學好的人。不過作為大三的專業課，分布式計算技術還是有去上課的，畢竟不能最后掛科吧 :]

曾有人說，「開發一個項目，至少有 50% 時間在配置環境」。確實，在折騰了三周的課時之后，我才按照老師給的詳細步驟配置好 Hadoop 的環境。盡管如此，由於種種原因，班里仍有很多同學還沒有配置好 Hadoop 的環境，導致課程一直停滯。在偶然中，我想到了 Docker，Docker 這個詞我至少在半年前已經聽說（當然，恕我孤陋寡聞，Docker 早在 13 年即發行），但一直沒有去了解和使用。時至今日，我對 Docker 的了解也十分少，簡單的來說，Docker 是一種容器（Container）管理工具，通過 Docker 我們可以配置可移植的環境，方便發布。Docker 基於 Linux，但也提供了 macOS 和 Windows 桌面版，方便在我們的本地機器測試、使用。

雖然本文是一個小白向的文章，但下載和安裝的過程也不會在本文涉及。一是官方網站必然提供了相應的教程，純粹的翻譯毫無意義；二是下載和安裝可能隨着后續更新發生略微的區別，而本文只着眼於配置 Hadoop 集群環境的搭建。

不過由於個人對 Hadoop 和 Docker 的了解甚少，如有錯誤，希望指出，我會學習、改正。

Linux

• Info:
  • Ubuntu 16.10 x64

Docker 本身就是基於 Linux 的，所以首先以我的一台服務器做實驗。雖然最后跑 wordcount 已經由於內存不足而崩掉，但是之前的過程還是可以參考的。

連接服務器

• 使用 ssh 命令連接遠程服務器。

ssh root@[Your IP Address]

 

ssh root@127.0.0.1

更新軟件列表

apt-get update

 

apt-get update

• 更新完成。

 

更新完成

安裝 Docker

sudo apt-get install docker.io

 

sudo apt-get install docker.io

• 當遇到輸入是否繼續時，輸入「Y／y」繼續。

 

Y

• 安裝完成。

 

安裝完成

• 輸入「docker」測試是否安裝成功。

 

docker

拉取鏡像

• 鏡像，是 Docker 的核心，可以通過從遠程拉取鏡像即可配置好我們所需要的環境，我們這次需要的是 Hadoop 集群的鏡像。

 

kiwenlau/hadoop-cluster-docker

• 在本文中，我們將使用 kiwenlau 的 Hadoop 集群鏡像以及其配置。由於我的服務器本身即在國外，因此拉取鏡像的速度較快，國內由於眾所周知的原因，可以替換為相應的國內源，以加快拉取速度。

sudo docker pull kiwenlau/hadoop:1.0

• 拉取鏡像完成。

 

sudo docker pull kiwenlau/hadoop:1.0

克隆倉庫

• 克隆倉庫到當前文件夾（可以自行創建並切換到相應文件夾）。

git clone https://github.com/kiwenlau/hadoop-cluster-docker

• 克隆倉庫完成。

 

克隆倉庫完成

橋接網絡

sudo docker network create --driver=bridge hadoop

 

sudo docker network create --driver=bridge hadoop

運行容器

cd hadoop-cluster-docker
./start-container.sh

• 默認是 1 個主節點，2 個從節點，當然也可以根據性能調整為 N 節點，詳見文末參考鏈接。

 

./start-container.sh

啟動 Hadoop

./start-hadoop.sh

• 在上一步，我們已經運行容器，即可直接運行 Hadoop。啟動時長與機器性能有關，也是難為了我這一台 512 MB 內存的服務器。

 

./start-hadoop.sh

測試 Word Count

./run-wordcount.sh

• Word Count 是一個測試 Hadoop 的 Shell 腳本，即計算文本中的單詞個數。不過由於我的服務器內存不夠分配無法完成，所以后續以本機進行測試。

網頁管理

• 我們可以通過網頁遠程管理 Hadoop：
  • Name Node: [Your IP Address]:50070/
  • Resource Manager: [Your IP Address]:8088/

macOS

• Info:
  • macOS 10.12.4 beta (16E191a)

下載 & 安裝

• 打開 Docker 官方網站：https://www.docker.com，選擇社區版，並下載、安裝。Windows 系統用戶可以選擇 Windows 版本。

 

Docker CE

 

macOS or Windows

運行 Docker

• 打開 Docker。為了簡單，我沒有改動配置，如需更改，可以在 Preferences 中修改。

 

Docker is running

• 我們可以在終端（Terminal）輸入「docker」，測試是否安裝成功。

 

docker

拉取鏡像 & 克隆倉庫 & 橋接網絡 & 運行容器 & 啟動 Hadoop

• 同 Linux。

測試 Word Count

./run-wordcount.sh

• 同 Linux，但這次我們可以運算出結果了。

 

./run-wordcount.sh

Windows

其實最開始就沒有打算放出 Windows 版，倒不是因為覺得 Windows 不好，而是目前手頭沒有 Windows 的電腦，借用同學的電腦也不是很方便。如果需要安裝 Docker，需要 CPU 支持虛擬化，且安裝了 64 位 Windows 10 Pro/企業版（需要開啟 Hyper-V）。其他版本的 Windows 可以安裝 Docker Toolbox。

• 暫無。

Intellij IDEA

我們的 Hadoop 集群已經在容器里安裝完成，而且已經可以運行。相比自己一個個建立虛擬機，這樣的確十分方便、快捷。為了便於開發調試，接下來就需要在 Intellij IDEA 下配置開發環境，包管理工具選擇 Gradle。Maven 配合 Eclipse 的配置網上已經有很多了，需要的同學可以自行搜索。

Docker 開啟 9000 端口映射

• 由於我們使用的是 kiwenlau 的鏡像和開源腳本，雖然加快了配置過程，但是也屏蔽了很多細節。比如在其腳本中只默認開啟了 50070 和 8088 的端口映射，我們可以通過 docker ps（注意是在本機，而不是在容器運行該命令）列出所有容器，查看容器映射的端口。

cd hadoop-cluster-docker
vim start-container.sh

• 切換到腳本文件夾，使用 Vim 編輯 start-container.sh。在圖中光標處添加以下內容，保存並退出。

-p 9000:9000 \ 

 

映射 9000 端口

• 重啟容器，並查看容器狀態，如圖即為映射成功。

 

映射端口成功

開啟 Web HDFS 管理*

該步非必須。為了方便在網頁端管理，因此開啟 Web 端，默認關閉。

which hadoop
cd /usr/local/hadoop/etc/hadoop/
ls

vi core-site.xml

• 找到 Hadoop 配置文件路徑，使用 Vi 編輯，若 Vi 的插入模式（Insert Mode）中，上下左右變成了 ABCD，那么可以使用以下命令即可：cp /etc/vim/vimrc ~/.vimrc 修復。

 

Hadoop 配置文件

• 添加以下內容。

<property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> 

 

添加以上內容

啟動 Hadoop

• 同 Linux。

構建依賴

• 使用 Intellij IDEA 新建一個 Gradle 項目，在 Build.gradle 中加入以下依賴（對應容器 Hadoop 版本）。

compile group: 'org.apache.hadoop', name: 'hadoop-common', version: '2.7.2'
compile group: 'org.apache.hadoop', name: 'hadoop-hdfs', version: '2.7.2'

Demo

import org.apache.commons.io.IOUtils; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.Before; import org.junit.Test; import java.io.FileInputStream; import java.io.IOException; import java.net.URI; /** * Created by kingcos on 25/03/2017. */ public class HDFSOperations { FileSystem fileSystem; @Before public void configure() throws Exception { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS", "hdfs://192.168.1.120:9000"); fileSystem = FileSystem.get(URI.create("hdfs://192.168.1.120:9000"), configuration, "root"); } @Test public void listFiles() throws IOException { Path path = new Path("/"); RemoteIterator<LocatedFileStatus> iterator = fileSystem.listFiles(path, true); while (iterator.hasNext()) { LocatedFileStatus status = iterator.next(); System.out.println(status.getPath().getName()); } } @Test public void rm() throws IOException { Path path = new Path("/"); fileSystem.delete(path, true); } @Test public void mkdir() throws IOException { Path path = new Path("/demo"); fileSystem.mkdirs(path); } } 

• 之后便可以通過 IDEA 直接寫代碼來測試，這里簡單寫了幾個方法。

總結

• 在寫這篇文章之前，其實我對 Docker 的概念很不了解。但是通過 Learn by do it. 大致知道了其中的概念和原理。我們完全可以構建自己的容器 Dockerfile，來部署生產和開發環境，其強大的可移植性大大縮短配置的過程。
• 由於個人對 Hadoop 和 Docker 的了解甚少，如有錯誤，希望指出，我會學習、改正。
• 如果有時間，我會再折騰一下其他的玩法 :]

Reference

• 基於 Docker 搭建 Hadoop 集群之升級版

作者：萌面大道
鏈接：https://www.jianshu.com/p/b75f8bc9346d
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。