廈門大學林子雨,賴永炫,陶繼平 編著
《Spark 編程基礎(Scala 版)》
教材配套
機房上機實驗指南
實驗 1 Linux 系統的安裝和常用命令
(版本號:2018 年 7 月 19 日版本)
(題目)
主講教師:林子雨
廈門大學數據庫實驗室
二零一八年七月目錄
目錄
一、實驗目的...................................................................................................................................1
二、實驗平台...................................................................................................................................1
三、實驗內容和要求.......................................................................................................................2
1.安裝 Linux 虛擬機.............................................................................................................2
2.使用 Linux 系統的常用命令.............................................................................................2
3. 在 Windows 系統和 Linux 系統之間互傳文件.................................................................2
四、實驗報告...................................................................................................................................3
附錄 1:任課教師介紹......................................................................................................................3
附錄 2:課程教材介紹....................................................................................................................4
附錄 3:高校大數據課程公共服務平台介紹................................................................................5
實驗 1 Linux 系統的安裝和常用命令
廈門大學林子雨,賴永炫,陶繼平 編著
《Spark 編程基礎(Scala 版)》
第 1 章 大數據技術概述
教材配套機房上機實驗指南
實驗 1 Linux 系統的安裝和常用命令
(題目)
主講教師:林子雨
E-mail: ziyulin@xmu.edu.cn 個人主頁:http://www.cs.xmu.edu.cn/linziyu
一、實驗目的
(1)掌握 Linux 虛擬機的安裝方法。Spark 和 Hadoop 等大數據軟件在 Linux 操作系統
上運行可以發揮最佳性能,因此,本教程中,Spark 都是在 Linux 系統中進行相關操作,同
時,下一章的 Scala 語言也會在 Linux 系統中安裝和操作。鑒於目前很多讀者正在使用
Windows 操作系統,因此,為了順利完成本教程的后續實驗,這里有必要通過本實驗,讓讀
者掌握在 Windows 操作系統上搭建 Linux 虛擬機的方法。當然,安裝 Linux 虛擬機只是安
裝 Linux 系統的其中一種方式,實際上,讀者也可以不用虛擬機,而是采用雙系統的方式安
裝 Linux 系統。本教程推薦使用虛擬機方式。
(2)熟悉 Linux 系統的基本使用方法。本教程全部在 Linux 環境下進行實驗,因此,
需要讀者提前熟悉 Linux 系統的基本用法,尤其是一些常用命令的使用方法。
二、實驗平台
操作系統:Windows 系統和 Ubuntu(推薦)。
虛擬機軟件:推薦使用的開源虛擬機軟件為 VirtualBox。VirtualBox 是一款功能強大的
免費虛擬機軟件,它不僅具有豐富的特色,性能也很優異,且簡單易用,可虛擬的系統包括
Windows、Mac OS X、Linux、OpenBSD、Solaris、IBM OS2 甚至 Android 4.0 系統等操作系
統。讀者可以在 Windows 系統上安裝 VirtualBox 軟件,然后在 VirtualBox 上安裝並且運行
Linux 操作系統。本次實驗默認的 Linux 發行版為 Ubuntu16.04。
主講教師:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 1 頁廈門大學林子雨,賴永炫,陶繼平 編著《Spark 編程基礎(Scala 版)》 教材配套機房上機實驗指南
實驗 1 Linux 系統的安裝和常用命令
主講教師:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 2 頁
三、實驗內容和要求
1.安裝 Linux 虛擬機
請登錄 Windows 系統,下載 VirtualBox 軟件和 Ubuntu16.04 鏡像文件。
VirtualBox 軟件的下載地址:https://www.virtualbox.org/wiki/Downloads。
Ubuntu16.04 的鏡像文件下載地址:http://www.ubuntu.org.cn/download/desktop。
或者也可以直接到本教程官網的“下載專區”的“軟件”中下載 Ubuntu 安裝文件
ubuntukylin-16.04-desktop-amd64.iso。
首先,在Windows系統上安裝虛擬機軟件VirtualBox軟件,然后在虛擬機軟件VirtualBox
上安裝 Ubuntu14.04 操作系統,具體請參考本教程官網的“實驗指南”中的“在 Windows
中使用 VirtualBox 安裝 Ubuntu”。
2.使用 Linux 系統的常用命令
啟動 Linux 虛擬機,進入 Linux 系統,通過查閱相關 Linux 書籍和網絡資料,或者參考
本教程官網的“實驗指南”的“Linux 系統常用命令”,完成如下操作:
(1)切換到目錄 /usr/bin;
(2)查看目錄/usr/local 下所有的文件;
(3)進入/usr 目錄,創建一個名為 test 的目錄,並查看有多少目錄存在;
(4)在/usr 下新建目錄 test1,再復制這個目錄內容到/tmp;
(5)將上面的/tmp/test1 目錄重命名為 test2;
(6)在/tmp/test2 目錄下新建 word.txt 文件並輸入一些字符串保存退出;
(7)查看 word.txt 文件內容;
(8)將 word.txt 文件所有者改為 root 帳號,並查看屬性;
(9)找出/tmp 目錄下文件名為 test2 的文件;
(10)在/目錄下新建文件夾 test,然后在/目錄下打包成 test.tar.gz;
(11)將 test.tar.gz 解壓縮到/tmp 目錄。
1)切換到目錄 /usr/bin;
輸入cd /usr/bin
(2)查看目錄/usr/local 下所有的文件;
ls /usr/local
(3)進入/usr 目錄,創建一個名為 test 的目錄,並查看有多少目錄存在;
cd /usr
mkdir test
ls
(4)在/usr 下新建目錄 test1,再復制這個目錄內容到/tmp;
cd /usr
mkdir test1
cp -a /usr/test1 /tmp
(5)將上面的/tmp/test1 目錄重命名為 test2;
mv /tmp/test1 /tmp/test2
(6)在/tmp/test2 目錄下新建 word.txt 文件並輸入一些字符串保存退出;
cd /tmp/test2
gedit word.txt
(7)查看 word.txt 文件內容;
vim /tmp/test2/word.txt
(8)將 word.txt 文件所有者改為 root 帳號,並查看屬性;
chown root /tmp/test2/word.txt
ls -l word.txt
(9)找出/tmp 目錄下文件名為 test2 的文件;
find /tmp/test2
(10)在/目錄下新建文件夾 test,然后在/目錄下打包成 test.tar.gz;
cd /
mkdir test
tar -czvf test.tar.gz test
(11)將 test.tar.gz 解壓縮到/tmp 目錄。
tar -zxvf test.tar.gz -C /tmp/
3. 在 Windows 系統和 Linux 系統之間互傳文件
本教程大量實驗都是在 Linux 虛擬機上完成,因此,需要掌握如何把 Windows 系統中
的文件上傳到 Linux 系統,以及如何把 Linux 系統中的文件下載到 Windows 系統中。
首先,到本教程官網的“下載專區”中的“軟件”目錄中,下載 FTP 軟件 FileZilla 的安裝
文件 FileZilla_3.17.0.0_win64_setup.exe,把 FileZilla 安裝到 Windows 系統中;然后,請參考
本教程官網“實驗指南”欄目的“在 Windows 系統中利用 FTP 軟件向 Ubuntu 系統上傳文
件”,完成以下操作:
(1)在 Windows 系統中新建一個文本文件 test.txt,並通過 FTP 軟件 FileZilla,把 test.txt
上傳到 Linux 系統中的“/home/hadoop/下載”目錄下,把利用 Linux 命令把該文件名修改為
test1.txt;
(2)通過 FTP 軟件 FileZilla,把 Linux 系統中的“/home/hadoop/下載”目錄下的 test1.txt廈門大學林子雨,賴永炫,陶繼平 編著《Spark 編程基礎(Scala 版)》 教材配套機房上機實驗指南
實驗 1 Linux 系統的安裝和常用命令
主講教師:林子雨 http://www.cs.xmu.edu.cn/linziyu 第 3 頁
文件下載到 Windows 系統的某個目錄下。