實驗環境:
1、 操作系統:Linux(建議Ubuntu16.04);
2、 Hadoop版本:2.7.1。
實驗目的:
1、Hadoop運行在Linux系統上,因此,需要學習實踐一些常用的Linux命令。本實驗旨在熟悉常用的Linux操作和Hadoop操作,為順利開展后續其他實驗奠定基礎。
實驗步驟:
(一)熟悉常用的Linux操作
l cd命令:切換目錄
(1) 切換到目錄“/usr/local”
cd /usr/local
(2) 切換到當前目錄的上一級目錄
cd ..
(3) 切換到當前登錄Linux系統的用戶的自己的主文件夾
cd ~
l ls命令:查看文件與目錄
(4) 查看目錄“/usr”下的所有文件和目錄
cd /usr
ls -al
l mkdir命令:新建目錄
(5) 進入“/tmp”目錄,創建一個名為“a”的目錄,並查看“/tmp”目錄下已經存在哪些目錄
cd /tmp
mkdir a
ls -al
(6) 進入“/tmp”目錄,創建目錄“a1/a2/a3/a4”
mkdir -p a1/a2/a3/a4
l rmdir命令:刪除空的目錄
(7) 將上面創建的目錄a(在“/tmp”目錄下面)刪除
rmdir a
(8) 刪除上面創建的目錄“a1/a2/a3/a4” (在“/tmp”目錄下面),然后查看“/tmp”目錄下面存在哪些目錄
rmdir -p a1/a2/a3/a4
ls -al
l cp命令:復制文件或目錄
(9) 將當前用戶的主文件夾下的文件.bashrc復制到目錄“/usr”下,並重命名為bashrc1
sudo cp ~/.bashrc /usr/bashrc1
(10) 在目錄“/tmp”下新建目錄test,再把這個目錄復制到“/usr”目錄下
cd /tmp
mkdir test
sudo cp -r /tmp/test /usr
l mv命令:移動文件與目錄,或更名
(11) 將“/usr”目錄下的文件bashrc1移動到“/usr/test”目錄下
cd /usr
sudo cp /usr/bashrc1 /usr/test
(12) 將“/usr”目錄下的test目錄重命名為test2
cd /usr
sudo mv test test2
l rm命令:移除文件或目錄
(13) 將“/usr/test2”目錄下的bashrc1文件刪除
cd /usr
sudo rm bashrc1
(14) 將“/usr”目錄下的test2目錄刪除
sudo rm -r test2
l cat命令:查看文件內容
(15) 查看當前用戶主文件夾下的.bashrc文件內容
cat ~/.bashrc
l tac命令:反向查看文件內容
(16) 反向查看當前用戶主文件夾下的.bashrc文件的內容
tac ~/.bashrc
l more命令:一頁一頁翻動查看
(17) 翻頁查看當前用戶主文件夾下的.bashrc文件的內容
more ~/.bashrc
l head命令:取出前面幾行
(18) 查看當前用戶主文件夾下.bashrc文件內容前20行
head -n 20 ~/.bashrc
(19) 查看當前用戶主文件夾下.bashrc文件內容,后面50行不顯示,只顯示前面幾行
head -n -50 ~/.bashrc
l tail命令:取出后面幾行
(20) 查看當前用戶主文件夾下.bashrc文件內容最后20行
tail -n 20 ~/.bashrc
(21) 查看當前用戶主文件夾下.bashrc文件內容,並且只列出50行以后的數據
tail -n +50 ~/.bashrc
l touch命令:修改文件時間或創建新文件
(22) 在“/tmp”目錄下創建一個空文件hello,並查看文件時間
cd/tmp
touch hello
ls -l hello
(23) 修改hello文件,將文件時間整為5天前
touch -d "5 days ago" hello
l chown命令:修改文件所有者權限
(24) 將hello文件所有者改為root帳號,並查看屬性
sudo chown root /tmp/hello
l find命令:文件查找
(25) 找出主文件夾下文件名為.bashrc的文件
find ~/.bashrc
l tar命令:壓縮命令
(26) 在根目錄“/”下新建文件夾test,然后在根目錄“/”下打包成test.tar.gz
cd /
touch test
sudo tar -zcvf /test.tar.gz test
(27) 把上面的test.tar.gz壓縮包,解壓縮到“/tmp”目錄
sudo tar -zxvf /test.tar.gez -C /tmp
l grep命令:查找字符串
(28) 從“~/.bashrc”文件中查找字符串'examples'
grep examples ~/.bashrc
l 配置環境變量
(29) 請在“~/.bashrc”中設置,配置Java環境變量
gedit ~/.bashrc
首行加入 : export JAVA_HOME="JDK位置"
(30) 查看JAVA_HOME變量的值
echo $JAVA_HOME
(二)熟悉常用的Hadoop操作
(31)使用hadoop用戶登錄Linux系統,啟動Hadoop(Hadoop的安裝目錄為“/usr/local/hadoop”),為hadoop用戶在HDFS中創建用戶目錄“/user/hadoop”
(31) 接着在HDFS的目錄“/user/hadoop”下,創建test文件夾,並查看文件列表
(32) 將Linux系統本地的“~/.bashrc”文件上傳到HDFS的test文件夾中,並查看test
(33) 將HDFS文件夾test復制到Linux系統本地文件系統的“/usr/local/hadoop”目錄下