Windows环境部署并调试pyspark(一)


 

准备:

windows环境说明:Python2.7 + pip
spark版本:spark-1.6.1-bin-hadoop2.6

step1:
下载并解压tar包到自定义的路径。(下载链接 https://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz)

step2:
配置 %SPARK_HOME% 环境变量

 


step3:
拷贝pyspark对应的python工具包到python的安装路径下 "%PYTHON%/site-packages/"


step4:
使用PyCharm打开 "%SPARK_HOME%/examples\src\main\python"

 

step5:
运行pi.py并查看输出

  至此,pyspark入门篇的windows环境搭建就完成了。 

注意:

1.运行时若出现“numpy”,“py4j”等依赖包找不到,自行使用pip进行安装即可($ pip install xxx);
2.当在进行部分模型的训练与加载出错时,需要到真实的unix环境进行对应代码的操作.


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM