error: not found: value sc


【問題】

解壓spark的tar包后,執行bin/spark-shell,執行val lines=sc.textFile("README.md")時,拋錯error: not found: value sc

【解決辦法】

這是因為shell啟動時沒有初始化sparkContext,修改conf/spark-env.sh文件,添加如下內容:

export SPARK_LOCAL_IP="10.10.20.204"

注意:

1、不要使用0.0.0.0,這樣運行spark自帶的example時,spark無法連接0.0.0.0這個IP取下載example的代碼。

2、不要使用127.0.0.1,這樣不能在其他機器上訪問spark ui。

再次啟動bin/spark-shell,這是會看到如下信息,代表spark context已經被初始化了,現在可以正常執行命令了。

Spark context Web UI available at http://10.10.20.204:4040
Spark context available as 'sc' (master = local[*], app id = local-1477366425671).
Spark session available as 'spark'.

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM