MR案例：MR和Hive中使用Lzo压缩
在MapReduce中使用lzo压缩 1).首先将数据文件在本地使用lzop命令压缩。具体配置过详见配置hadoop集群的lzo压缩 2).将lzo文件上传到hdfs 3).给Lzo文件建立索引Index(两种方式 ...
原文：重要 ｜ mr使用hcatalog读写hive表
企业中，由于领导们的要求，hive中有数据存储格式很多时候是会变的，比如为了优化将tsv，csv格式改为了parquet或者orcfile。那么这个时候假如是mr作业读取hive的表数据的话，我们又要重新去写mr并且重新部署。这个时候就很蛋疼。hcatalog帮我们解决了这个问题，有了它我们不用关心hive中数据的存储格式。详细信息请仔细阅读本文。 本文主要是讲mapreduce使用HCatal ...
2018-09-12 11:26 0 1129 推荐指数：
相关推荐
Spark 读写hive 表
spark 读写hive表主要是通过sparkssSession 读表的时候，很简单，直接像写sql一样sparkSession.sql("select * from xx") 就可以了。 这里主要是写数据，因为数据格式有很多类型，比如orc,parquet 等，这里就需要按需要的格式写 ...
从hive导入到oracle(Hcatalog)
1.使用catalog的情况下: 2.不使用catalog 3.使用hcatalog要注意的地方 import时,不支持: --hive ...
HCatalog
HCatalog HCatalog是Hadoop中的表和存储管理层，能够支持用户用不同的工具（Pig、MapReduce）更容易地表格化读写数据。 HCatalog从Apache孵化器毕业，并于2013年3月26日与Hive项目合并。Hive版本0.11.0是包含HCatalog的第一个版本 ...
hive如何执行mr
hive的库、表等数据实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容， 比如执行查询，统计，插入等操作。一直很好奇hive是如何做到这些的。通过参考网上几篇不错的文档， 有点小心得分享出来。主要的参考链接 http ...
Hive on MR调优
当HiveQL跑不出来时，基本上是数据倾斜了，比如出现count(distinct)，groupby，join等情况，理解 MR 底层原理，同时结合实际的业务，数据的类型，分布，质量状况等来实际的考虑如何进行系统性的优化。 Hive on MR 调优主要从三个层面进行，分别 ...
【翻译】Flink Table Api & SQL — Hive —— 读写 Hive 表
Table Api & SQL 翻译目录 使用HiveCatalog和Flink的Hive连接器， ...
Hive ORC表的使用
创建普通临时表： create table if not exists test_orc_tmp( name string, gender string, cnt BIGINT )row format delimited fields ...