Structured Streaming + Kafka 集成中遇到的問題

官方指導：http://spark.apache.org/docs/2.2.0/structured-streaming-kafka-integration.html

1、版本問題  起初用的kafka是0.8，各種問題，后面換成官方要求的  0.10.0  以上，一些版本問題再沒有了。

2、在windwos 下 測試 本地模式測試代碼邏輯

錯誤1：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

遇到這個問題請確認一下幾個步驟是否正確

1、C:/Windows/System32/和Hadoop—Home/bin目錄下添加hadoop.dll文件

2、hadoop_home的環境變量

3、hadoop.dll的版本的問題(hadoop2.4之前和之后對hadoop.dll的要求不一樣)

 hadoop.dll_2.6

錯誤2：Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

　　錯誤2是緊接着錯誤1的，網上說目前錯誤的解決辦法還沒有解決，采用一種臨時的方式來解決，解決的辦法是：通過下載你的CDH的版本的源碼（hadoop2.6.0-cdh5.4.4-src.zip），在對應的文件下，hadoop2.6.0-cdh5.4.4-src\hadoop-common-project\hadoop- common\src\main\java\org\apache\hadoop\io\nativeio下NativeIO.java 復制到對應的Eclipse的project（復制的過程中需要注意一點，就是在當前的工程下創建相同的包路徑，這里的包路徑org.apache.hadoop.io.nativeio，再將對應NativeIO.java文件復制到對應的包路徑下即可。）

　需要替換的

　　NativeIO.java