Apache Flume Flume NG是一個分布式、可靠、可用的系統，它能夠將不同數據源的海量日志數據進行高效收集、聚合，最后存儲到一個中心化數據存儲系統中,方便進行數據分析。事實上flume也可以收集其他信息，不僅限於日志。包括端口數據、JMS、命令行等輸出數據。 架構 Flume ...

GoldenGate可以實時將RDBMS的數據投遞到HDFS中，在前面的文章中，已經配置過投遞到kafka, mongodb等數據平台，本文通過OGG for bigdata的介質中自帶的示例演示實時將數據寫入到HDFS文件系統。 安裝hadoop 安裝hadoop3.0.0，設置相應 ...

mongodb安裝 安裝 linux下可使用apt-get install mongodb-server 或 yum install mongodb-server 進行安裝。 也可以在windows上安裝mongodb，只要網絡連通，數據就可以從關系型數據庫投遞到mongodb。詳細安裝文檔可網絡 ...

導讀：本文將會分上下兩篇對一個重要且常見的大數據基礎設施平台展開討論，即“實時數據平台”。 在上篇設計篇中，我們首先從兩個維度介紹實時數據平台：從現代數倉架構角度看待實時數據平台，從典型數據處理角度看待實時數據處理；接着我們會探討實時數據平台整體設計架構、對具體問題的考量以及解決思路。 在下篇技術 ...

一、簡介 一般業務訴求：在第一時間拿到經過加工后的數據，以便實時監控當前業務狀態並作出運營決策，引導業務往好的方向發展。 按照數據的延時情況，數據時效性一般分為三種（離線、准實時、實時）： 離線：在今天（T）處理 N 天前（T - N ≥ 1）的數據，延遲時間粒度 ...

大數據篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一種高吞吐量的分布式發布、訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據 ...

Kafka設計的初衷是迅速處理短小的消息，一般10K大小的消息吞吐性能最好（可參見LinkedIn的kafka性能測試）。但有時候，我們需要處理更大的消息，比如XML文檔或JSON內容，一個消息差不多有10-100M，這種情況下，Kakfa應該如何處理？ 針對這個問題，有以下幾個建議 ...

canal 官方文檔 一、canal安裝（1.1.4） 下載安裝包，解壓，創建軟連接。 修改配置文件。 2.1 canal.properties 2.2 instance.pro ...