簡介 啟用lzo 　　　　啟用lzo的壓縮方式對於小規模集群是很有用處，壓縮比率大概能降到原始日志大小的1/3。同時解壓縮的速度也比較快。 安裝lzo lzo並不是linux系統原生支持，所以需要下載安裝軟件包。這里至少需要安裝3個軟件包：lzo, lzop ...

【簡介】 1@LZO本身是不支持分片的，但是我們給LZO壓縮的文件加上索引，就支持分片了 2@Linux本身是不支持LZO壓縮的，所以我們需要下載安裝軟件包，其中包括三個：lzo,lzop,hdoop-gpl-packaging. 3@hdoop-gpl-packaging的主要作用 ...

索引的目的是為了讓lzo支持 splitable， 這樣hadoop可以並行處理, 所以這一步很關鍵， ...

在使用flume采集日志寫入到hdfs時，用到了lzo壓縮算法，這個算法將讓保存的文件縮小為原文件的三分之一。由於此壓縮算法不是hadoop默認的，需要另外安裝，下面記錄下，全文主要參考文末博文完成。 編譯安裝lzo和lzop 注意，有多少個節點，就安裝多個少！注意，有多少個節點，就安裝多個少 ...

編譯: 0. 環境准備 maven（下載安裝，配置環境變量，修改sitting.xml加阿里雲鏡像） gcc-c++ zlib-devel autoconf automake libtool 通過yum安裝即可，yum -y install gcc-c++ lzo-devel zlib-devel ...

環境： ubuntu hadoop-2.6.0 hive-1.1.0 1 2 3 5 6 7 ...

在hive中要想使用lzo的格式,需要配置安裝好lzo工具並且在hadoop的core-site.xml與mapred-site.xml中配置相應的配置 一、編譯安裝lzo與lzop 在集群的每一台主機上都需要編譯安裝！！！ 1.下載編譯安裝lzo文件 ...

如果已經有了lzo文件，可以采用如下方法添加索引： bin/yarn jar /module/cloudera/parcels/GPLEXTRAS-5.4.0-1.cdh5.4.0.p0.27/lib/hadoop/lib ...