【原創】大叔問題定位分享(9)oozie提交spark任務報 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer


oozie中支持很多的action類型,比如spark、hive,對應的標簽為:

<spark xmlns="uri:oozie:spark-action:0.1"> 

...

oozie中sharelib用於存放每個action類型需要的依賴,可以查看當前所有的action類型以及每個action類型的依賴

oozie admin -shareliblist
[Available ShareLib]
hive
sparkbak
distcp
mapreduce-streaming
spark
oozie
hcatalog
hive2
sqoop
pig

 

oozie admin -shareliblist spark

...

上述報錯是由於oozie中spark依賴里的kafka基礎依賴缺少kafka-clients-0.8.2.2.jar,將jar上傳到sharelib目錄,然后手動更新即可

oozie admin -sharelibupdate

更新之后可見:

 oozie admin -shareliblist spark|grep kafka
        hdfs://hdfs_name/oozie/share/lib_20180801121138/spark/kafka-clients-0.8.2.2.jar
        hdfs://hdfs_name/oozie/share/lib_20180801121138/spark/kafka_2.11-0.8.2.1.jar
        hdfs://hdfs_name/oozie/share/lib_20180801121138/spark/spark-streaming-kafka-0-8_2.11-2.1.0.jar 

添加成功


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM