ERROR SparkContext: Error initializing SparkContext. java.lang.reflect.InvocationTargetException
問題背景:
Java版本:1.8.0.291
Spark版本:spark-3.2.0-bin-hadoop3.2
Windows操作系統64位
Spark初次安裝
問題描述:
配置完Java環境和Spark路徑之后,在cmd中執行Spark-shell時,出現如下錯誤
ERROR SparkContext: Error initializing SparkContext.
java.lang.reflect.InvocationTargetException
.....
Caused by: java.net.URISyntaxException: Illegal character in path at index 32: spark://LAPTOP-US4D0J27:64591/C:\classes
at java.net.URI$Parser.fail(URI.java:2845)
at java.net.URI$Parser.checkChars(URI.java:3018)
at java.net.URI$Parser.parseHierarchical(URI.java:3102)
at java.net.URI$Parser.parse(URI.java:3050)
at java.net.URI.<init>(URI.java:588)
at org.apache.spark.repl.ExecutorClassLoader.<init>(ExecutorClassLoader.scala:57)
... 70 more
問題解決
從控制台打印出的bug來看,貌似是啟動時執行的java文件中有非法字符,導致啟動失敗,反復尋找,沒能找到他啟動的哪一個java文件出現錯誤,
嘗試降低版本,使用spark-3.1.2-bin-hadoop3.2后成功啟動
可能是高版本配置發生了變化,了解不深入,0.0