转自 http: my.oschina.net u blog 经常用于处理大量的数据，如果期间的输出数据 中间数据能压缩存储，对系统的I O性能会有提升。综合考虑压缩 解压速度 是否支持split，目前lzo是最好的选择。LZO LZO是Lempel Ziv Oberhumer的缩写 是一种高压缩比和解压速度极快的编码，它的特点是解压缩速度非常快，无损压缩，压缩后的数据能准确还原，lzo是基于b ...
2016-06-20 15:22 0 2124 推荐指数：
环境：Hadoop 2.6.0 + hive-0.14.0 问题出现的背景：在hive中建表 （建表语句如下），并且表的字段中有Map，Set,Collection等集合类型。 CREATE EXTERNAL TABLE agnes_app_hour( start_id string ...
一，安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：10.51.121.10 主机名：datanode-4 安装用户：root 二，安装JDK 安装JDK1.6或者以上 ...
目录 一.编译 二.相关配置 三.为LZO文件创建索引 四.Hive为LZO文件建立索引 1.hive创建的lzo压缩的分区表 2.给.lzo压缩文件建立索引index 3.读取Lzo文件的注意事项(重要 ...
一，安装环境 硬件：虚拟机 操作系统：Centos 6.4 64位 IP：10.51.121.10 主机名：datanode-4 安装用户：root二，安装JDK 安装JDK1.6或者以上版本。这里安 ...
【简介】 1@LZO本身是不支持分片的，但是我们给LZO压缩的文件加上索引，就支持分片了 2@Linux本身是不支持LZO压缩的，所以我们需要下载安装软件包，其中包括三个：lzo,lzop,hdoop-gpl-packaging. 3@hdoop-gpl-packaging的主要作用 ...
环境： ubuntu hadoop-2.6.0 hive-1.1.0 1 2 3 5 6 7 ...
在使用flume采集日志写入到hdfs时，用到了lzo压缩算法，这个算法将让保存的文件缩小为原文件的三分之一。由于此压缩算法不是hadoop默认的，需要另外安装，下面记录下，全文主要参考文末博文完成。 编译安装lzo和lzop 注意，有多少个节点，就安装多个少！注意，有多少个节点，就安装多个少 ...
编译: 0. 环境准备 maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像） gcc-c++ zlib-devel autoconf automake libtool 通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel ...
