【原創】大叔經驗分享（7）創建hive表時格式如何選擇
常用格式 textfile 需要定義分隔符，占用空間大，讀寫效率最低，非常容易發生沖突（分隔符）的一種格式，基本上只有需要導入數據的時候才會使用，比如導入csv文件； ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001 ...
原文：【原創】大叔經驗分享（35）lzo格式支持
建表語句 CREATE EXTERNAL TABLE my lzo table something string ROW FORMAT DELIMITED FIELDS TERMINATED BY t STORED AS INPUTFORMAT com.hadoop.mapred.DeprecatedLzoTextInputFormat OUTPUTFORMAT org.apache.hadoop ...
2019-02-26 18:24 0 797 推薦指數：
相關推薦
【原創】大叔經驗分享（88）jenkins假死
jenkins安裝啟動后，使用systemctl來進行進程監控 # systemctl enable jenkins 但是還是經常發生jenkins進程掛了，不會自動重啟，通過syste ...
【原創】大叔經驗分享（65）spark讀取不到hive表
spark 2.4.3 spark讀取hive表，步驟： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSuppor ...
【原創】大叔經驗分享（39）spark cache unpersist級聯操作
問題：spark中如果有兩個DataFrame（或者DataSet），DataFrameA依賴DataFrameB，並且兩個DataFrame都進行了cache，將DataFrameB unpersi ...
【原創】大叔經驗分享（62）kudu副本數量
kudu的副本數量是在表上設置，可以通過命令查看 其中RF即replication factor； 副本數量只能在創建表時指定，創建后不能修改，並且副本數量必須為奇數 By ...
【原創】大叔經驗分享（51）docker報錯Exited (137)
docker container啟動失敗，報錯：Exited (137) *** ago，比如 Exited (137) 16 seconds ago 這時通過docker logs查不 ...
【原創】大叔經驗分享（5）oozie提交spark任務如何添加依賴
spark任務添加依賴的方式： 1 如果是local方式運行，可以通過--jars來添加依賴； 2 如果是yarn方式運行，可以通過spark.yarn.jars來添加依賴； 這兩種方式在ooz ...
【原創】大叔經驗分享（99）Atlas簡介、安裝
官方：http://atlas.apache.org/ 一 簡介 元數據管理：數據分類、數據血緣、數據治理 Atlas is a scalable and extensible se ...