前言
今天運行Spark Structured Streaming官網的如下
./bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999
報了 WARN deploy.SparkSubmit$$anon$2: Failed to load org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount.
截圖如下:
解決方案
是spark-examples_2.11-2.4.5.jar里面內容不全導致的,去官網下載spark安裝包,並將服務器上的examples\jars 下面的spark-examples_2.11-2.4.5.jar替換掉重新運行即可。
解決過程
剛開始看到這個錯誤,第一反應是環境變量出了問題,沒有找到,然后去查看環境變量發現沒問題。
然后就去另一台服務器運行同樣命令,執行成功了。然后查看了下spark-examples_2.11-2.4.5.jar文件是存在的。這個時候就很郁悶,隨便檢查了下其它配置也都一樣,但是真相只有一個,肯定有一個地方配置的不對。於是乎~我就把兩台服務器的文件弄到了本地,並使用Beyond Compare工具進行一個個對比,果然發現了問題,spark-examples_2.11-2.4.5.jar文件在出錯的那台服務器居然才1KB,而正常的那台服務器是1971KB,原來是包里面缺少內容導致的,於是我忙緊把正常包在服務器進行替換,然后重新運行就好了。
具體為什么包會變小,還沒找到原因。