在pycharm上配置pyspark


1、下载完spark,解压,我下载的是spark-2.4.1版本,在文件的 \spark-2.4.1-bin-hadoop2.7\python\lib 中有两个文件

 

 

 这两个文件之后会用到

2、由于使用了pyspark时from pyspark import SparkContext,需要下载py4j,直接pip即可

3、pycharm设置环境变量

点击config

选择environment

 

 

 

 

 

 

创建环境变量,一个是SPARK_HOME,另外一个是PYTHONPATH,设置它们的values,SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径,PYTHONPATH的value是该绝对路径/python,例如我的SPARK_HOME的value是G:\spark\spark-2.4.1-bin-hadoop2.7,那么我的PYTHONPATH的value是G:\spark\spark-2.4.1-bin-hadoop2.7\python 。设置好了保存。(注意不管是路径的哪里,都不能有空格,尤其是结尾。)

4、关键的一步,在setting中的project structure中点击右边的“add content root”,添加py4j-some-version.zip和pyspark.zip的路径(这两个文件都在Spark中的python文件夹下,上面提到过路径位置)

 

 

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM