第一章：課程介紹
銘文一級：
VMware Fusion
Mac上搭建：為了給大家演示如何使用我們的OOTB環境
Hadoop環境：虛擬機，我是遠程登錄
Mac
那么就不需要使用我們的OOTB環境
VMware Fusion+OOTB
Window：VMware
hadoop/hadoop
root用戶的密碼是什么？
修改配置文件，是需要root權限的，怎么辦？
sudo command
只有一個地方需要修改：ip地址
/etc/hosts
192.168.199.128 hadoop000
192.168.199.128 localhost
銘文二級：
項目需求=>
1.今天到現在為止的流量訪問量
2.今天到現在為止從搜索引擎引流過來的流量訪問量
處理流程：產生->采集->清洗->分析->入庫->可視化
學習前提基礎：1.linux基礎 2.java/python/scala其中一種語言 3.hadoop/spark基礎
學習建議=>
1.筆記（如寫博客）
2.官網（*為apache頂級項目）:
A.官網：*.apache.org
B.源碼：github.com/apache/*
3.動手
環境介紹=>
CenOs6.4、CDH5.7、IDEA、Jdk1.8、Scala2.11.8、Spark2.2.0、flume1.6.0、kafka0.9.0.0、ZooKeeper-3.4.5、Hbase1.2.0
CDH5的環境網址：http://archive.cloudera.com/cdh5/cdh/5/ （或搜：cdh5 第一個網址）
OOTB環境使用=>
用VMware打開hadoop000.vmx文件（若為VMware Fusion環境：選擇“已拷貝”、“是”）
用戶：hadoop 密碼：hadoop
1.ifconfig查詢ip地址 2.sudo vi /etc/hosts修改成查到的ip地址
（遠端登錄指令：ssh hadoop@192.168.0.1）//ip地址改成自己的
虛擬機核心文件夾：（/home/hadoop/） app、data、lib、software、source
若要進行Spark版本的升級（前提需要裝好maven）=>
官網介紹：http://spark.apache.org/docs/latest/building-spark.html(官網主頁：Documentation->Latest Release->More->Building Spark)
中文介紹：https://www.imooc.com/article/18419
1.jdk升級到1.8 2.scala版本若為2.10，勿忘執行：./dev/change-scala-version.sh 2.10
環境變量=>
配置在~/.bash_profile里面
export MAVEN_HOME=/home/hadoop/app/apache-maven-3.3.9
export PATH=$MAVEN_HOME/bin:$PATH
銘文三級：
問題：虛擬機每次重啟，ip地址會自動變化，如何固定？
方案1：setup--網絡設置--不要選dhcp--手動設置ip,掩碼---退出---service network restart--ifconfig查看 或者應用程序--網絡--eth0--編輯--使用固定ip--手動輸入設置--確定--激活--service network restart--ifconfg查看
方案2：http://blog.csdn.net/wang_zhenwei/article/details/48706651
排位賽總結：
linux vi 刪除1行：dd
ssh hadoop@ip //注意是hadoop機器，不是用戶名
銘文四級：
Spark源碼編譯
第一種方式：打包成tgz包（custom-spark改成2.6.0-cdh5.7.0）
./dev/make-distribution.sh --name custom-spark --pip --r --tgz -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn
老師參考：
./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Pyarn -Phadoop-2.6 -Phive -Phive-thriftserver -Dhadoop.version=2.6.0-cdh5.7.0
第二種方式：mvn編譯（如今官網-Phadoop是使用2.6.X，所以參數也可以不傳遞）
./build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0-Phive -Phive-thriftserver-DskipTests clean package
mvn知識補充：-P傳遞pom.xml里的profile參數 -D傳遞dependency參數