hbase、pig、hive配置與應用

---

---

------------------HBASE----------
[root@iClient~]#sudo yum install hbase                  #iClient安裝Hbase客戶端
[root@cMaster-]#sudo yum install hbase-master           #cMaster 安裝主服務HMaster
[root@cSlave0~]#sudo yum install hbase-regionserver     #eSlave0安裝從服務
[root@cSlavel~]#sudo yum install hbase-regionserver      #cSlavel安裝從服務
[root@cSlave2~]#sudo yum install hbase-regionserver      #eSlave2安裝從服務


4）配置Hbase編輯/etc/hbase/conf/hbase-site.xml將下面內容添加到configuration便箋切記iClient，cMaster，cSlave0~2這五台機器都要進行配置，且要求配置相同。
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://cMaster:8020/hbase</value>       
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>cSlave0,cSlavel,cSlave2</value>
</property>


5）HDFS里新建Hbase存儲目錄
[root@iClient~]#sudo -u hdfs hdfs dfs -mkdir /hbase
[root@iClient~]#sudo -u hdfs hdfs dfs -chown -R hbase /hbase

6）啟動Hbase集群
共分三步，即啟動ZooKeeper集群（參考ZooKeeper部署），啟動主服務HMaster和啟動從服務HRegionServer。
[root@cMaster~]#sudo service hbase-master start    #cMaster開啟主服務命令S
sudo service hbase-regionserver start     #cSlave0，cSlavel，cSlave2開啟regionserver


Hbase后動好后，在iClient上瀏覽蓄打井“cMaster：60010”，即可以看到Hbase的Web頁面。



2.Hbase接口
[root@iClient~]#hbase shell                      #進入Hbase命令行
hbase（main）：001：0>list                    #查看所有表
hbase（main）：002：0>create 'member'，'id'，'personalAttr'，'socialAttr'  #創建member表
hbase（main）：003：0>list 
hbase（main）：004：0>scan 'member'               #查看member內容
hbase（main）：005：0>put 'member'，'201401'，'personalAttr:name'，'aa'  #向member表中插入數據
hbase（main）：006：0>put 'member'，'201401'，'personalAtr:gender'，'0'
hbase（main）：007：0>put 'member'，'201401'，'personalAttr:age'，'21'
hbase（main）：008：0>put 'member'，'201401'，'socialAttr:edu'，'e0'
hbase（main）：009：0>put 'member'，'201401，'socialAttr:job'， 'p3'
hbase（main）：010：0>put 'member'，'201401'，'socialAttr:imcome'，'m'
hbase（main）：011：0>scan 'member'
hbase（main）：012：0>disable  'member'               #廢棄member表
hbase（main）：013：0>drop 'member'                   #刪除member表
hbase（main）：014：0>quit





--------------------------- Pig------------------------
[root@iClient ~]# sudo yum install pig        #只在iclient上安裝


2.Pig訪問接口
[root@iClient~]#sudo -u joe pig                    #進入joe用戶的Pig命令行
grunt> help；                                    #查看Pig操作
grunt>A=load 'input'；                   #載入待處理文件夾input 
grunt>B=foreach A generate flatten (TOKENIZE((chararray)$0)) as word；  #划分單詞
grunt>C=group B by word；                    #指定按單詞聚合，即同一個單詞到一起
grunt>D=foreach C generate COUNT(B),group；   #同一個單詞出現次數相加
grunt>store D into 'out/wc-19'；           #將處理好的文件存入HDFS下/user/joe/out/wc-19
grunt> dump D into；                     #將處理結果D打印到屏幕





------------------------------------------Hive-----------------------
[root@iClient～]# sudo yum install hive         #只在iclient上安裝
   

（2）HDFS里新建Hive存儲目錄。
[root@iClient ~]#sudo -u hdfs hdfs dfs-mkdir /user/hive         #HDFS里新建 Hive存儲目錄
[root@iClient~]#sudo -u hdfs hdfs dfs-chmod -R 1777    /user/hive    #為目錄設置適當權限

只需上述兩步就可以直接使用Hive了，當然，也可以使用jps命令查看Hive進程。
2.Hive接口
[root@iClient~]#Hive         #進入Hive命令行
hive>show functions；            #獲取Hhive所有函數列表
hive>describe function count；    #查看count函數用法

首先為表准備數據，即在iClient目錄“/root”下新建文件memberData並寫入如下內容，注意記錄間為換行符，字段間以Tab鍵分割。
201401    aa    0    21    e0    p3    m
201402    bb    1    22    el    p2    1
201403    cc    1    22    e2    pl    m




hive>show tables；          #查看當前 Hive倉庫中所有表（以確定當前無member表）
hive>create table member(id int,name string,gender tinyint,age tinyint,edu string,prof string,income string)row format delimited fields terminated by\t'；          
                #使用合適字段與類型，新建member表
hive>show tables；                                             #次查看，將顯示member表
hive>load data local inpath '/root/memberData' into table member；  #將本地文件memberData載入HDFS 
hive>select * from member；                                       #查看表中所有記錄
hive>select * from member where gender=1；                #查看表中gender值為1的記錄
hive>select * from member where gender=1 AND age=23；        #查看表中gender值為1且age為23的記錄
hive>select gender,count(*)from member group by gender；    #統計男女出現總次數
hive>drop table member；                                    #刪除member表
hive>quit；                                      #退出Hive命令行接口