1.打包python环境
建议使用conda conda克隆环境 conda create -n prod_env --clone base 进入conda的miniconda3/envs # 打包python环境 zip -r prod_env.zip prod_env
2.提交任务
sh脚本
export PYSPARK_DRIVER_PYTHON=xxxx/envs/prod_env/bin/python3 export PYSPARK_PYTHON=./ENV/prod_env/bin/python3 spark-submit \ --master yarn \ --deploy-mode client \ --archives prod_env.zip#ENV \ #这里是注释 会上传本地的prod_env.zip到hdfs上，作为缓存，运行时会解压到ENV目录，程序结束后自动删除; 如果python的库变动不大，可以提前做好zip包上传到hdfs上，然后指定hdfs:///your-path --conf spark.driver.host=ip地址 \ # 此处是避免集群与client通信失败，默认绑定的是主机名 hello.py
hello.py
from pyspark import SparkConf
from pyspark.sql import SparkSession
print("==========app start=========")
spark = SparkSession.builder.enableHiveSupport().getOrCreate()
df = spark.sql('show databases')
df.show()
print("==========app stop=========")
spark.stop()