一、背景說明 Flink的API做了4層的封裝，上兩層TableAPI、SQL語法相對簡單便於編寫，面對小需求可以快速上手解決，本文參考官網及部分線上教程編寫source端、sink端代碼，分別讀取socket、kafka及文本作為source，並將流數據輸出寫入Kafka、ES及MySQL ...

環境安裝： 　　1.jdk 　　2.Zookeeper 　　3.Kafka 　　4.maven 　　5.開啟Mysql的binlog 一、binlog監控Mysql的庫 二、編寫FlinkCDC程序 1.添加pom文件 2.MykafkaUtil工具類 ...

強大的功能，豐富的插件，讓logstash在數據處理的行列中出類拔萃 通常日志數據除了要入ES提供實時展示和簡單統計外，還需要寫入大數據集群來提供更為深入的邏輯處理，前邊幾篇ELK的文章介紹過利用logstash將kafka的數據寫入到elasticsearch集群，這篇文章將會介紹 ...

簡介： 目前項目中已有多個渠道到Kafka的數據處理，本文主要記錄通過Spark Streaming 讀取Kafka中的數據，寫入到Elasticsearch，達到一個實時（嚴格來說，是近實時，刷新時間間隔可以自定義）數據刷新的效果。 應用場景： 業務庫系統做多維分析的時候，數據來源各不相同 ...

Kafka消費者 從Kafka中讀取數據 最近有需求要從kafak上消費讀取實時數據，並將數據中的key輸出到文件中，用於發布端的原始點進行比對，以此來確定是否傳輸過程中有遺漏數據。 不廢話，直接上代碼，公司架構設計 kafak 上有多個TOPIC，此代碼每次需要指定一個TOPIC，一個 ...

一. 概述 在大數據的靜態數據處理中，目前普遍采用的是用Spark+Hdfs（Hive/Hbase）的技術架構來對數據進行處理。 但有時候有其他的需求，需要從其他不同數據源不間斷得采集數據，然后存儲到Hdfs中進行處理。而追加（append）這種操作在Hdfs里面明顯是比較麻煩的一件事。所幸 ...

關於kafka的source部分請參考 上一篇： https://www.cnblogs.com/liufei1983/p/15801848.html 1： 首先下載兩個和jdbc和mysql相關的jar包，注意版本，我的flink是1.13.1 ...

　　最近flink已經變得比較流行了，所以大家要了解flink並且使用flink。現在最流行的實時計算應該就是flink了，它具有了流計算和批處理功能。它可以處理有界數據和無界數據，也就是可以處理永遠生產的數據。具體的細節我們不討論，我們直接搭建一個flink功能。總體的思路是source ...