conda 操作虚拟环境
1. 查看conda 版本
conda -v
2.查看当前环境存在哪些虚拟环境
conda list env
3.创建python 虚拟环境
conda create -n mypython_env python=3.7
4.使用或激活虚拟环境
source activate mypython_env
5. 安装包
conda install -n mypython_env 包名
6. 退出虚拟环境
source deactivate
7. 删除虚拟环境
conda remove -n mypython_env -all
8. 删除环境中的某个包
conda remove -name mypython requests
9. 打包整个虚拟环境
cd anaconda/env
zip -r -9 -q pyspark_py37.zip mypython
10. 在pyspark中使用该打包好的虚拟环境
python_path="hdfs://deng/python-.7.3.tgz#python-3.7.3"
--conf spark.yarn.dist.archives=$python_path
--conf spark.pyspark.driver.python="./python-3.7.3/bin/python"
--conf.spark.pyspark.="./python-3.7.3/bin/python"