Flink的sink實戰之一：初探

歡迎訪問我的GitHub

https://github.com/zq2599/blog_demos

內容：所有原創文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

關於sink

下圖來自Flink官方，紅框中就是sink，可見實時數據從Source處開始，在Transformation階段完成業務邏輯后在sink結束，因此sink可以用來處理計算結果，例如控制台輸出或者保存數據庫：

關於《Flink的sink實戰》系列文章

本文是《Flink的sink實戰》的第一篇，旨在初步了解sink，通過對基本API和addSink方法的分析研究，為后續的編碼實戰打好基礎；

全系列鏈接

1. 《Flink的sink實戰之一：初探》
2. 《Flink的sink實戰之二：kafka》
3. 《Flink的sink實戰之三：cassandra3》
4. 《Flink的sink實戰之四：自定義》

從一段實例代碼開始

1. 下面是個簡單的flink應用代碼，紅框中的print方法就是sink操作：
   
2. 下圖是官方給出的sink方式，都是DataStream類的API，直接調用即可實現sink，剛才代碼中的print就是其中一個：
   
3. 接下來看看上圖中API的源碼，先看print方法，在DataStream.java中，如下，實際上是調用了addSink方法，入參是PrintSinkFunction：
   
4. 另一個常用API是writeAsText，源碼如下，調用了writeUsingOutputFormat方法：
   
5. 追蹤writeUsingOutputFormat發現也是調用了addSink，入參是OutputFormatSinkFunction：
   
6. print和writeAsText背后都在調用addSink，那么另一個常用的writeAsCsv方法呢？莫非也是調用addSink？打開一看果然，和writeAsText一樣調用了writeUsingOutputFormat，而該方法里面就是在調用addSink：
   
7. 綜上所述，data sink的關鍵就是addSink的入參，即SinkFunction接口的實現，通過類圖直觀看到常見的sink能力是如何實現的：

8. 從上圖可見抽象類RichSinkFunction與各種sink能力的關系十分緊密，我們應該重點關注它，在類圖上展示方法簽名，如下圖：

9. 如上圖所示，RichSinkFunction本身沒有內容，但是它實現SinkFunction，繼承AbstractRichFunction，是RichFunction和SinkFunction這兩種特性的結合；
10. RichFunction的特性在前面的《Flink的DataSource三部曲》中已經了解，就是資源的open和close；
11. SinkFunction的特性呢？顯然是用來處理計算結果的，類圖上顯示的是兩個invoke方法，來看看官方的PrintSinkFunction.java：

12. writer.write(record)的源碼在PrintSinkOutputWriter.java，如下所示：

小結

至此，我們已經對Flink的sink有了基本了解：

1. 負責實時計算結果的處理(如輸出或持久化)；
2. 主要實現方式是調用DataStream.addSink方法；
3. 各種sink能力的實現，主要途徑是實現addSink方法的入參定義的接口；

后面的章節，一起進行sink方面的編碼實戰吧，實戰的方向：體驗官方提供的sink能力，自定義sink能力實現；

歡迎關注公眾號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos