宜信數據采集平台DBus生產環境部署實戰案例 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正傑 版權聲明：原創作品，謝絕轉載！否則將追究法律責任。 一.准備工作 1>.MySQL數據庫安裝 ...

功能遠超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具 注：由於文章篇幅有限，獲取資料可直接掃二維碼 深知其他組件的局限性，才能彰顯DBus的優越感 當前有很多數據采集工具（Sqoop、DataX、Flume、Logatash ...

大數據平台的數據采集 數據采集的設計，幾乎完全取決於數據源的特性，畢竟數據源是整個大數據平台蓄水的上游，數據采集不過是獲取水源的管道罷了。 在數據倉庫的語境下，ETL基本上就是數據采集的代表，包括數據的提取（Extract)、轉換(Transform)和加載(Load)。在轉換的過程中 ...

需求場景還原 國內某二線城市某科技公司，項目、產品繁多，軟硬件通吃。硬件大牛H，軟件新人S，研發BOSS： H：BOSS，這兩天剛剛搞出個采集電參數的模塊，能不能安排人做個簡單的測試程序，就是一個串口，電腦上看一下數據就行，很簡單的； BOSS：可以，小S，你把老H這個功能實現下，在我原來 ...

我在一次社區活動中做過一次分享，演講題目為《大數據平台架構技術選型與場景運用》。在演講中，我主要分析了大數據平台架構的生態環境，並主要以數據源、數據采集、數據存儲與數據處理四個方面展開分析與講解，並結合具體的技術選型與需求場景，給出了我個人對大數據平台的理解。本文講解數據采集 ...

關於從0到1搭建大數據平台，之前的一篇博文《如何從0到1搭建大數據平台》已經給大家介紹過了，接下來我們會分步講解搭建大數據平台的具體注意事項。 一、“大”數據 海量的數據 當你需要搭建大數據平台的時候一定是傳統的關系型數據庫無法滿足業務的存儲計算要求了，所以首先我們面臨的是海量的數據 ...

最近文章：高可用數據采集平台（如何玩轉3門語言php+.net+aauto）、高並發數據采集的架構應用（Redis的應用） 項目文檔：關鍵詞匹配項目深入研究（二）- 分表思想的引入 吐槽：本人也是非常討厭拿來主義的，有些培訓每個細節都提到過，主管還找我要實際案例，而不是去安排合適的人去做這件 ...

2020-03-01 組件版本 Confluent Platform:5.2.2 : https://www.confluent.io/ Debezium:1.0.0 : https://deb ...