centos7中基於hadoop安裝hive(CentOS7+hadoop2.8.0+hive2.1.1)


1下載hive

下載地址:http://hive.apache.org/downloads.html

 

點擊上圖的Download release now!

如圖:

     

 

 

       點擊上圖的某個下載地址,我點擊的是國內的這個地址:http://mirror.bit.edu.cn/apache/hive/

如圖:

       

 

     點擊進入:

     

 

apache-hive-2.1.1-bin.tar.gz

 

2安裝

2.1上載和解壓縮

       在opt目錄下新建一個名為hive的目錄,將apache-hive-2.1.1-bin.tar.gz拷貝上去

       執行進入目錄的命令:

cd    /opt/hive

       執行解壓縮的命令:

tar  -zxvf  apache-hive-2.1.1-bin.tar.gz

2.2配置環境變量

       編輯/etc/profile文件,增加hive相關的環境變量配置

如圖:

    

 

該文件中手工增加的內容是(橘黃色字體部分):

export  JAVA_HOME=/opt/java/jdk1.8.0_121

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop 

export  HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native 

export  HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib" 

export  HIVE_HOME=/opt/hive/apache-hive-2.1.1-bin

export  HIVE_CONF_DIR=${HIVE_HOME}/conf 

export  CLASS_PATH=.:${JAVA_HOME}/lib:${HIVE_HOME}/lib:$CLASS_PATH

export  PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:${HIVE_HOME}/bin:$PATH 

          

          profile文件編輯完成后,執行下面命令,讓配置生效,命令是;

          source     /etc/profile

         說明:上面的環境變量中只有JAVA_HOME相關的、HADOOP相關的、HIVE相關的是必須的, 相關的路徑必須要和你機器對應

2.3對hive進行配置

2.3.1 hive-site.xml相關的配置

2.3.1.1新建hive-site.xml文件

       進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄,命令是:

cd   /opt/hive/apache-hive-2.1.1-bin/conf

 

       將hive-default.xml.template文件復制一份,並且改名為hive-site.xml,命令是:

cp   hive-default.xml.template   hive-site.xml

2.3.1.2使用hadoop新建hdfs目錄

     因為在hive-site.xml中有這樣的配置:

  <name>hive.metastore.warehouse.dir</name>

  <value>/user/hive/warehouse</value>

   <name>hive.exec.scratchdir</name>

  <value>/tmp/hive</value>

 

       所以要讓hadoop新建/user/hive/warehouse目錄,執行命令:

$HADOOP_HOME/bin/hadoop   fs   -mkdir   -p   /user/hive/warehouse

       

 

       給剛才新建的目錄賦予讀寫權限,執行命令:

$HADOOP_HOME/bin/hadoop   fs   -chmod   777   /user/hive/warehouse 

 

     如圖:

    

       讓hadoop新建/tmp/hive/目錄,執行命令:

$HADOOP_HOME/bin/hadoop   fs   -mkdir  -p   /tmp/hive/

       如圖:

    

 

      給剛才新建的目錄賦予讀寫權限,執行命令:

$HADOOP_HOME/bin/hadoop   fs   -chmod  777   /tmp/hive

      如圖: 

 

2.3.1.3檢查hdfs目錄是否創建成功

        檢查/user/hive/warehouse目錄是否創建成功,執行命令:

$HADOOP_HOME/bin/hadoop   fs   -ls   /user/hive/

         如圖:

     

        檢查/tmp/hive是否創建成功,執行命令:

$HADOOP_HOME/bin/hadoop   fs   -ls   /tmp/

        如圖:

    

 

2.3.1.4修改hive-site.xml中的臨時目錄

         將hive-site.xml文件中的${system:java.io.tmpdir}替換為hive的臨時目錄,例如我替換為/opt/hive/tmp,該目錄如果不存在則要自己手工創建,並且賦予讀寫權限。

        如圖:

       

 

       被我替換為了

        如圖:

        

 

       將${system:user.name}都替換為root

       如圖:

       

 

       被替換為了

       如圖:

      

           說明:截圖並不完整,只是截取了幾處以作舉例,你在替換時候要認真仔細的全部替換掉。

2.3.1.5修改hive-site.xml數據庫相關的配置

        搜索javax.jdo.option.ConnectionURL,將該name對應的value修改為MySQL的地址,例如我修改后是:

     <name>javax.jdo.option.ConnectionURL</name>  

     <value>jdbc:mysql://192.168.27.138:3306/hive?createDatabaseIfNotExist=true</value>

    

     搜索javax.jdo.option.ConnectionDriverName,將該name對應的value修改為MySQL驅動類路徑,例如我的修改后是:

  <property> 

        <name>javax.jdo.option.ConnectionDriverName</name> 

        <value>com.mysql.jdbc.Driver</value> 

 </property>      

 

      搜索javax.jdo.option.ConnectionUserName,將對應的value修改為MySQL數據庫登錄名:

    <name>javax.jdo.option.ConnectionUserName</name>

    <value>root</value>

 

     搜索javax.jdo.option.ConnectionPassword,將對應的value修改為MySQL數據庫的登錄密碼:

     <name>javax.jdo.option.ConnectionPassword</name>

     <value>cj</value>

 

      搜索hive.metastore.schema.verification,將對應的value修改為false:

    <name>hive.metastore.schema.verification</name>

     <value>false</value>

 

2.3.1.6將MySQL驅動包上載到lib目錄

        將MySQL驅動包上載到Hive的lib目錄下,例如我是上載到/opt/hive/apache-hive-2.1.1-bin/lib目錄下。

如圖:

      

 

2.3.2新建hive-env.sh文件並進行修改

       進入到/opt/hive/apache-hive-2.1.1-bin/conf目錄,命令是:

cd    /opt/hive/apache-hive-2.1.1-bin/conf

       將hive-env.sh.template文件復制一份,並且改名為hive-env.sh,命令是:

cp    hive-env.sh.template    hive-env.sh

 

       打開hive-env.sh配置並且添加以下內容:

export  HADOOP_HOME=/opt/hadoop/hadoop-2.8.0

export  HIVE_CONF_DIR=/opt/hive/apache-hive-2.1.1-bin/conf

export  HIVE_AUX_JARS_PATH=/opt/hive/apache-hive-2.1.1-bin/lib

 

3啟動和測試

3.1對MySQL數據庫進行初始化

       mysql 數據庫 創建hive用戶

和hive數據庫

 

 

 

進入到hive的bin目錄 執行命令:

  cd   /opt/hive/apache-hive-2.1.1-bin/bin

           對數據庫進行初始化,執行命令:

  schematool   -initSchema  -dbType  mysql

     如圖:

    

      執行成功后,hive數據庫里已經有一堆表創建好了

     如圖:

            

 

3.1啟動hive

      進入到hive的bin目錄執行命令:

  cd   /opt/hive/apache-hive-2.1.1-bin/bin

       執行hive腳本進行啟動,執行命令:

./hive

    如圖:

    

 

3.3測試

3.3.1 執行簡單測試命令

     執行了3.2的hive腳本,啟動成功后,就進入了hive的命令行模式。下面進行一系列簡單測試:

     執行查看函數的命令:

     show  functions;

    如圖:

     

      執行查看sum函數的詳細信息的命令:

 desc function  sum;

     如圖:

     

 

3.3.2執行新建表以及導入數據的測試

3.3.2.1新建數據庫

     執行新建數據庫的hive命令:

  create database  db_hive_edu;

   如圖:

    

 

 

3.2.2.2 創建數據表

   在剛才創建的數據庫中創建數據表,執行hive命令:

    use  db_hive_edu;

    create  table  student(id int,name string)  row  format  delimited  fields   terminated  by  '\t';

     如圖:

     

3.2.2.3將文件數據寫入表中

 (1)在/opt/hive目錄內新建一個文件

   執行Linux命令(最好是重新打開一個終端來執行):

   touch    /opt/hive/student.txt

  如圖:

   

  往文件中添加以下內容:

 

001 zhangsan
002 lisi
003 wangwu
004 zhaoliu
005 chenqi

如圖:

 

   

         說明:ID和name直接是TAB鍵,不是空格,因為在上面創建表的語句中用了terminated  by  '\t'所以這個文本里id和name的分割必須是用TAB鍵(復制粘貼如果有問題,手動敲TAB鍵吧),還有就是行與行之間不能有空行,否則下面執行load,會把NULL存入表內,該文件要使用unix格式,如果是在windows上用txt文本編輯器編輯后在上載到服務器上,需要用工具將windows格式轉為unix格式,例如可以使用Notepad++來轉換。

         完成上面的步驟后,在磁盤上/opt/hive/student.txt文件已經創建成功,文件中也已經有了內容,在hive命令行中執行加載數據的hive命令:

 load   data  local   inpath   '/opt/hive/student.txt'   into   table   db_hive_edu.student;

          如圖:

 

        

3.2.2.4查看是否寫入成功

       執行命令,查看是否把剛才文件中的數據寫入成功,hive命令是:

select  *  from    student;

       如圖:

      

      說明:因為什么的操作使用use  db_hive_edu;指定了數據庫,所以這里直接用表名student,如果沒有指定數據庫,請把這個語句換成

                  select  *  from   db_hive_edu.student;

 

3.2.2.5在界面上查看剛才寫入hdfs的數據

     我的hadoop的namenode的IP地址是192.168.27.134,所以我要在瀏覽器里訪問如下地址:

http://192.168.27.134:50070/explorer.html#/user/hive/warehouse/db_hive_edu.db

     如圖:

    

 

    點擊上圖的student,相當於是直接訪問該地址:

http://192.168.27.134:50070/explorer.html#/user/hive/warehouse/db_hive_edu.db/student

 

     如圖:

     

 

       點擊student.txt,會彈出一個框

      如圖:

     

 

3.2.2.6在MySQL的hive數據庫中查看

        在MySQL數據庫中執行select語句,查看hive創建的表,SQL是:

SELECT  * FROM  hive.TBLS

        如圖:

      

4錯誤和解決

4.1警告Unable to load native-hadoop library for yourplatform

            實際上其實這個警告可以不予理會。

 

4.2報錯There are 2 datanode(s) running and 2 node(s) areexcluded in this operation.

           報錯詳情:

 

hive> load data local inpath '/opt/hive/student.txt' intotable  db_hive_edu.student;

Loading data to table db_hive_edu.student

Failed with exceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/hive/warehouse/db_hive_edu.db/student/student_copy_2.txt could only bereplicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s)are excluded in this operation.

        atorg.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1559)

        atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3245)

        atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:663)

        atorg.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)

        atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

        atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)

        atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)

        atjava.security.AccessController.doPrivileged(Native Method)

        atjavax.security.auth.Subject.doAs(Subject.java:422)

        atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)

        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)

 

FAILED: Execution Error, return code 1 fromorg.apache.hadoop.hive.ql.exec.MoveTask.org.apache.hadoop.ipc.RemoteException(java.io.IOException): File/user/hive/warehouse/db_hive_edu.db/student/student_copy_2.txt could only bereplicated to 0 nodes instead of minReplication (=1).  There are 2 datanode(s) running and 2 node(s)are excluded in this operation.

        atorg.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1559)

        atorg.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3245)

        atorg.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:663)

        at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)

        atorg.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)

        atorg.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)

        atorg.apache.hadoop.ipc.RPC$Server.call(RPC.java:975)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2040)

        atorg.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2036)

        atjava.security.AccessController.doPrivileged(Native Method)

        atjavax.security.auth.Subject.doAs(Subject.java:422)

        atorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1656)

        atorg.apache.hadoop.ipc.Server$Handler.run(Server.java:2034)

 

原因和解決:

       原因是你的hadoop中的datanode有問題,沒發寫入數據,請檢查你的hadoop是否正常運行,看是否能正常訪問http://nodename的IP地址:50070

例如我的是http://192.168.27.134:50070

如果能正常訪問,在看datanode狀態是否正常,訪問地址是:

http://192.168.27.134:50070/dfshealth.html#tab-datanode

       如圖:      

          如果不正常,請回頭檢查自己hadoop的安裝配置是否正確,hive的安裝和配置是否正確。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM