WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.


前言

今天運行Spark Structured Streaming官網的如下

./bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999

報了 WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.截圖如下:

解決方案

是spark-examples_2.11-2.4.5.jar里面內容不全導致的,去官網下載spark安裝包,並將服務器上的examples\jars 下面的spark-examples_2.11-2.4.5.jar替換掉重新運行即可。

解決過程

剛開始看到這個錯誤,第一反應是環境變量出了問題,沒有找到,然后去查看環境變量發現沒問題。

然后就去另一台服務器運行同樣命令,執行成功了。然后查看了下spark-examples_2.11-2.4.5.jar文件是存在的。這個時候就很郁悶,隨便檢查了下其它配置也都一樣,但是真相只有一個,肯定有一個地方配置的不對。於是乎~我就把兩台服務器的文件弄到了本地,並使用Beyond Compare工具進行一個個對比,果然發現了問題,spark-examples_2.11-2.4.5.jar文件在出錯的那台服務器居然才1KB,而正常的那台服務器是1971KB,原來是包里面缺少內容導致的,於是我忙緊把正常包在服務器進行替換,然后重新運行就好了。

具體為什么包會變小,還沒找到原因。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM