【原创】大叔经验分享（7）创建hive表时格式如何选择
常用格式 textfile 需要定义分隔符，占用空间大，读写效率最低，非常容易发生冲突（分隔符）的一种格式，基本上只有需要导入数据的时候才会使用，比如导入csv文件； ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0001 ...
原文：【原创】大叔经验分享（35）lzo格式支持
建表语句 CREATE EXTERNAL TABLE my lzo table something string ROW FORMAT DELIMITED FIELDS TERMINATED BY t STORED AS INPUTFORMAT com.hadoop.mapred.DeprecatedLzoTextInputFormat OUTPUTFORMAT org.apache.hadoop ...
2019-02-26 18:24 0 797 推荐指数：
相关推荐
【原创】大叔经验分享（88）jenkins假死
jenkins安装启动后，使用systemctl来进行进程监控 # systemctl enable jenkins 但是还是经常发生jenkins进程挂了，不会自动重启，通过syste ...
【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表，步骤： 1）hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2）enableHiveSuppor ...
【原创】大叔经验分享（39）spark cache unpersist级联操作
问题：spark中如果有两个DataFrame（或者DataSet），DataFrameA依赖DataFrameB，并且两个DataFrame都进行了cache，将DataFrameB unpersi ...
【原创】大叔经验分享（62）kudu副本数量
kudu的副本数量是在表上设置，可以通过命令查看 其中RF即replication factor； 副本数量只能在创建表时指定，创建后不能修改，并且副本数量必须为奇数 By ...
【原创】大叔经验分享（51）docker报错Exited (137)
docker container启动失败，报错：Exited (137) *** ago，比如 Exited (137) 16 seconds ago 这时通过docker logs查不 ...
【原创】大叔经验分享（5）oozie提交spark任务如何添加依赖
spark任务添加依赖的方式： 1 如果是local方式运行，可以通过--jars来添加依赖； 2 如果是yarn方式运行，可以通过spark.yarn.jars来添加依赖； 这两种方式在ooz ...
【原创】大叔经验分享（99）Atlas简介、安装
官方：http://atlas.apache.org/ 一 简介 元数据管理：数据分类、数据血缘、数据治理 Atlas is a scalable and extensible se ...