1.本地開發環境安裝
1..本地添加如下映射（windows地址:C:\Windows\System32\drivers\etc）
192.168.83.48 node-master1pZiu
192.168.83.158 node-str-coreHikL
192.168.83.174 node-str-coreJHEU
192.168.83.193 node-str-corekYpN
192.168.83.82 node-ana-coreQVZK
192.168.83.244 node-ana-coreYEsq
192.168.83.197 node-ana-coreZJhf
2.本地配置環境變量HAOOP_HOME,需要下載hadoop相關配置，下載路徑：
https://github.com/SirMin/winutils
3.scala使用2.11版本，自行下載，下載地址：https://www.scala-lang.org/download/
4.idea怎么配制這里不再描述
2.代碼例子
1.scala代碼本地調試例子
3.打包部署
1.直接使用maven clean install
2.上傳jar包執行，spark運行例子（注意如果代碼里面寫了master為local需要取消，spark2-submit可不取消，華為mrs2.1.0上面運行需要取消），然后運行命令大致如下，參數根據需要調整即可。
spark2-submit \
--class com.xxx.maintaintablename.MaintainTableNameApplication \
--master yarn\
--queue 'root.dw' \
--deploy-mode cluster \
--num-executors 10 \
--executor-cores 3 \
--executor-memory 8g \
--driver-cores 3 \
--driver-memory 8g \
--conf spark.cores.max=24 \
MaintainTableName.jar
3.flink使用yarn-session運行，首先確認是否已經有yarn-session在運行，如果沒有就先執行yarn-session.sh -d -n 4 -nm crm_app -jm 1024 -tm 4096，然后執行類似如下命令flink run -c com.xc.flink_dw.main.crm.CrmMainBusinessSupporter ./flink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar進行啟動。
4.如果是yarn-cluster執行，直接執行flink run -m yarn-cluster -c com.xc.flink_dw.main.crm.CrmMain flink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar即可
5.最后yarn管理界面查看即可
flink和spark例子關注公眾號碼農獨白獲取
