1.本地开发环境安装
1..本地添加如下映射（windows地址:C:\Windows\System32\drivers\etc）
192.168.83.48 node-master1pZiu
192.168.83.158 node-str-coreHikL
192.168.83.174 node-str-coreJHEU
192.168.83.193 node-str-corekYpN
192.168.83.82 node-ana-coreQVZK
192.168.83.244 node-ana-coreYEsq
192.168.83.197 node-ana-coreZJhf
2.本地配置环境变量HAOOP_HOME,需要下载hadoop相关配置，下载路径：
https://github.com/SirMin/winutils
3.scala使用2.11版本，自行下载，下载地址：https://www.scala-lang.org/download/
4.idea怎么配制这里不再描述
2.代码例子
1.scala代码本地调试例子
3.打包部署
1.直接使用maven clean install
2.上传jar包执行，spark运行例子（注意如果代码里面写了master为local需要取消，spark2-submit可不取消，华为mrs2.1.0上面运行需要取消），然后运行命令大致如下，参数根据需要调整即可。
spark2-submit \
--class com.xxx.maintaintablename.MaintainTableNameApplication \
--master yarn\
--queue 'root.dw' \
--deploy-mode cluster \
--num-executors 10 \
--executor-cores 3 \
--executor-memory 8g \
--driver-cores 3 \
--driver-memory 8g \
--conf spark.cores.max=24 \
MaintainTableName.jar
3.flink使用yarn-session运行，首先确认是否已经有yarn-session在运行，如果没有就先执行yarn-session.sh -d -n 4 -nm crm_app -jm 1024 -tm 4096，然后执行类似如下命令flink run -c com.xc.flink_dw.main.crm.CrmMainBusinessSupporter ./flink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar进行启动。
4.如果是yarn-cluster执行，直接执行flink run -m yarn-cluster -c com.xc.flink_dw.main.crm.CrmMain flink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar即可
5.最后yarn管理界面查看即可
flink和spark例子关注公众号码农独白获取
