【原創】大數據基礎之Flume（2）應用之kafka-kudu
應用一：kafka數據同步到kudu 1 准備kafka topic 2 准備kudu表 impala-shell 3 准備flume kudu支持 3.1 下載jar 3.2 開發 代碼庫：https://github.com ...
原文：【原創】大數據基礎之Flume（2）kudu sink
kudu中的flume sink代碼路徑： https: github.com apache kudu tree master java kudu flume sink kudu flume sink默認使用的producer是 org.apache.kudu.flume.sink.SimpleKuduOperationsProducer 是將消息直接存放到一個payload列中 如果想要支持js ...
2019-03-21 17:39 2 841 推薦指數：
相關推薦
【原創】大數據基礎之Kudu（4）spark讀寫kudu
spark2.4.3+kudu1.9 1 批量讀 2 批量寫 3 單個讀/條件讀 4 單個寫 其他：newInsert/newUpdate/newDelete/newUpsert 5 錯誤定位 如果apply之后發現修改 ...
【原創】大數據基礎之Kudu（2）移除dead tsever
當kudu有tserver下線或者遷移或者修改hostname之后，舊的tserver會一直以dead狀態出現，並且tserver日志中會有大量的連接重試日志，一天的錯誤日志會有幾個G， W0322 22:13:59.202749 16927 tablet_service.cc:290 ...
【原創】大數據基礎之Kudu（1）簡介、安裝、使用
kudu 1.7 官方：https://kudu.apache.org/ 一 簡介 kudu有很多概念，有分布式文件系統（HDFS），有一致性算法（Zookeeper），有Table（Hive Table），有Tablet（Hive Table Partition），有列式存儲 ...
【原創】大數據基礎之Kudu（3）primary key
關於kudu的primary key The primary key may not be changed after the table is created. You must drop and recreate a table to select a new primary key. ...
【原創】大數據基礎之Kudu（5）kudu增加或刪除目錄/數據盤
kudu加減數據盤不能直接修改配置fs_data_dirs后重啟，否則會報錯： Check failed: _s.ok() Bad status: Already present: FS layout already exists; not overwriting existing ...
【原創】大數據基礎之Kudu（6）kudu tserver內存占用統計分析
kudu tserver占用內存過高后會拒絕部分寫請求，日志如下： 19/06/01 13:34:12 INFO AsyncKuduClient: Invalidating location 34b1c13d04664cc8bae6689d39b08b77($kudu ...
大數據基礎---Flink_Data_Sink
一、Data Sinks 在使用 Flink 進行數據處理時，數據經 Data Source 流入，然后通過系列 Transformations 的轉化，最終可以通過 Sink 將計算結果進行輸出，Flink Data Sinks 就是用於定義數據流最終的輸出位置。Flink 提供了幾個較為簡單 ...