Spark安裝問題:ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException


ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException

問題背景:

Java版本:1.8.0.291
Spark版本:spark-3.2.0-bin-hadoop3.2
Windows操作系統64位
Spark初次安裝

問題描述:

配置完Java環境和Spark路徑之后,在cmd中執行Spark-shell時,出現如下錯誤

ERROR SparkContext: Error initializing SparkContext.
java.lang.reflect.InvocationTargetException
.....
Caused by: java.net.URISyntaxException: Illegal character in path at index 32: spark://LAPTOP-US4D0J27:64591/C:\classes
        at java.net.URI$Parser.fail(URI.java:2845)
        at java.net.URI$Parser.checkChars(URI.java:3018)
        at java.net.URI$Parser.parseHierarchical(URI.java:3102)
        at java.net.URI$Parser.parse(URI.java:3050)
        at java.net.URI.<init>(URI.java:588)
        at org.apache.spark.repl.ExecutorClassLoader.<init>(ExecutorClassLoader.scala:57)
        ... 70 more

問題解決

從控制台打印出的bug來看,貌似是啟動時執行的java文件中有非法字符,導致啟動失敗,反復尋找,沒能找到他啟動的哪一個java文件出現錯誤,
嘗試降低版本,使用spark-3.1.2-bin-hadoop3.2后成功啟動
可能是高版本配置發生了變化,了解不深入,0.0


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM