【原創】大叔經驗分享（63）kudu vs parquet
一 對比 存儲空間對比： 查詢性能對比： 二 設計方案 將數據拆分為：歷史數據（hdfs+parquet+snappy）+ 近期數據（kudu），可以兼具各種優點： 1）整體低於10%的磁盤占用； 2）更少的查詢耗時； 3）近期數據實時更新； 4）近期 ...
原文：【原創】大叔經驗分享（59）kudu查看table size
kudu並沒有命令可以直接查看每個table占用的空間，可以從cloudera manager上間接查看 CM is scrapping and aggregating the metrics pages from the tablet server instances for each tablet table. ...
2019-05-21 20:11 0 612 推薦指數：
相關推薦
【原創】大叔經驗分享（55）spark連接kudu報錯
spark-2.4.2kudu-1.7.0 開始嘗試 1）自己手工將jar加到classpath spark-2.4.2-bin-hadoop2.6+kudu-spark2_2.11-1.7.0-cdh5.16.1.jar 2）采用官方的方式（將kudu版本改為1.7.0 ...
【原創】大叔經驗分享（60）hive和spark讀取kudu表
從impala中創建kudu表之后，如果想從hive或spark sql直接讀取，會報錯： 官方的解釋是： You will encounter this exception when you try to access a Kudu table using ...
【原創】大叔經驗分享（62）kudu副本數量
kudu的副本數量是在表上設置，可以通過命令查看 其中RF即replication factor； 副本數量只能在創建表時指定，創建后不能修改，並且副本數量必須為奇數 By default, Kudu tables created through Impala use ...
【原創】大叔經驗分享（54）flume kudu sink運行一段時間kudu client報錯
flume kudu sink運行一段時間報錯： 此時kudu master報錯如下： W0506 10:19:37.484565 24970 negotiation.cc:320] Unauthorized connection attempt: Server ...
【原創】大叔經驗分享（53）kudu報錯unable to find SASL plugin: PLAIN
kudu安裝后運行不正常，master中找不到任何tserver，查看tserver日志發現有很多報錯： Failed to heartbeat to master:7051: Invalid argument: Failed to ping master at master:7051 ...
【原創】大叔經驗分享（58）kudu寫入壓力大時報錯
kudu寫入壓力大時報錯 19/05/18 16:53:12 INFO AsyncKuduClient: Invalidating location fd52e4f930bc45458a8f29ed118785e3(server002:7050) for tablet ...
【原創】大叔經驗分享（1）在yarn上查看hive完整執行sql
hive執行sql提交到yarn上的任務名字是被處理過的，通常只能顯示sql的前邊一段和最后幾個字符，這樣就會帶來一些問題： 1）相近時間提交了幾個相近的sql，相互之間無法區分； 2）一個任務有問題，想看下這個任務具體執行的是什么？是誰的任務？ 通過以下方法可以查看： 1）如果任務 ...