使用kafka和sparkstreaming整合時,IDEA運行程序報錯"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.1",初步看是版本不兼容,但是版本后面確認沒有問題,參考博文,修改了依賴包的依賴順序就解決了問題。
依賴包順序
修改了依賴包順序,前三個如圖所示的順序是ok的。
①spark安裝包中的jar包
②kafka安裝包中的jar包
③sparkstreaming和kafka的整合jar包
運行程序
運行程序,發現kafka接收到flume的消息后,sparkstreaming可以正常pull,並將結果打印到控制台。
本次沒有使用maven來管理jar包,直接導入安裝包中的jar包來運行的,依賴包順序調整只是這個報錯的一種解決解決辦法,具體原因暫時不明。
參考博文: