Python執行spark程序配置

spark沒有配置Python環境變量的時候使用Python只用spark時候回出現

from pyspark import SparkConf,SparkContent
ImportError: No module named pyspark

所以要在環境變量中配置

打開

vim /etc/profile

添加

export SPARK_HOME=/usr/local/spark2.2
export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

添加過spark環境變量的這里直接用就行

然后重啟電腦或者 source /etc/profile  當前可用

 

附上一段Python讀取文本統計行數的代碼

from pyspark import  SparkConf,SparkContext

conf = SparkConf().setMaster("local").setAppName("My App")
sc= SparkContext(conf=conf)

lines = sc.textFile("/root/opt/world/test.txt")
print lines.count()