【問題】
解壓spark的tar包后,執行bin/spark-shell,執行val lines=sc.textFile("README.md")時,拋錯error: not found: value sc
【解決辦法】
這是因為shell啟動時沒有初始化sparkContext,修改conf/spark-env.sh文件,添加如下內容:
export SPARK_LOCAL_IP="10.10.20.204"
注意:
1、不要使用0.0.0.0,這樣運行spark自帶的example時,spark無法連接0.0.0.0這個IP取下載example的代碼。
2、不要使用127.0.0.1,這樣不能在其他機器上訪問spark ui。
再次啟動bin/spark-shell,這是會看到如下信息,代表spark context已經被初始化了,現在可以正常執行命令了。
Spark context Web UI available at http://10.10.20.204:4040 Spark context available as 'sc' (master = local[*], app id = local-1477366425671). Spark session available as 'spark'.