Hadoop偽分布安裝詳解(四)

目錄：

     1.修改主機名和用戶名

     2.配置靜態IP地址

     3.配置SSH無密碼連接

     4.安裝JDK1.7

     5.配置Hadoop

     6.安裝Mysql

     7.安裝Hive

     8.安裝Hbase

     9.安裝Sqoop

********************

為什么要安裝Mysql？  因為Hive的元數據和數據是分開存放的，數據存放在HDFS中，元數據默認存儲在Derby數據庫中。

但是由於Derby數據庫只支持同時一個用戶訪問Hive，因此將數據庫的配置更改為Mysql。

6.安裝Mysql

　（1）安裝Mysql客戶端： 

 yum install mysql

　（2）安裝Mysql服務器端：  

yum install mysql-server 　　
yum install mysql-devel

   （3）查看Mysql的狀態　 

service mysqld status

     

# Mysql啟動 　　service mysqld start

# Mysql停止 　　service mysqld stop

     （4）啟動Mysql后，以root用戶登錄Mysql：

   mysql -u root 
   mysql> set PASSWORD  FOR 'root'@'localhost'=PASSWORD('root')  #設置密碼root
   mysql -u root  -p

      

      （5）創建數據庫Hive，用來保存Hive元數據     

create  database   hive

    使用root用戶操作hive中所有的表格

     GRANT  all  ON  hive.*  TO  root@'neusoft-master'    IDENTIFIED  BY  'hivepwd'

     flush  privileges;

     select   user,host from mysql.user

   如下顯示：

    

  7.安裝Hive

    （1） 下載hive的安裝包，並傳到centos系統中，在對應目錄解壓即可

 tar  -zxvf  /opt/hive-1.1.0-cdh5.6.0.tar.gz

    （2）修改hive的配置文件/opt/hive-1.1.0-cdh5.6.0/conf，在conf目錄下創建hive-site.xml  

[root@neusoft-master conf]# cd /opt/hive-1.1.0-cdh5.6.0/conf/
[root@neusoft-master conf]# ll
total 20
-rw-r--r-- 1 1106  592 1139 Jan 29  2016 beeline-log4j.properties.template
-rw-r--r-- 1 1106  592 2459 Jan  6 21:09 hive-env.sh
-rw-r--r-- 1 1106  592 2662 Jan 29  2016 hive-exec-log4j.properties.template
-rw-r--r-- 1 1106  592 3505 Jan 29  2016 hive-log4j.properties.template
-rw-r--r-- 1 root root  740 Jan  6 21:36 hive-site.xml
[root@neusoft-master conf]# cat hive-site.xml 
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
      <name>hive.metastore.local</name>
      <value>true</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://neusoft-master:3306/hive?createDatabaseIfNotExist=true</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
    </property>
    <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>hivepwd</value>
    </property>
</configuration>

 　　如圖： 

    

   （3）配置hive-env.sh

     由於hive壓縮包中只有hive-env.sh.template文件，因此需要復制一份文件並更改為hive-env.sh，如下命令：

cp hive-env.sh.template hive-env.sh

     [root@neusoft-master conf]# vi  hive-env.sh 

export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.0

    

   （4）移動jar包到hive的lib目錄下

    將Mysql的JDBC驅動jar包移動到hive-1.1.0-cdh5.6.0/lib下，否則hive不能成功連接mysql

     JDBC的jar包應選擇相應版本，如：mysql-connector-5.1.30.jar，這里不是下載mysql安裝包，而是找到mysql啟動包放進lib目錄下。

　（5）環境變量配置    

vi  /etc/profile   #更改如下

export HIVE_HOME=/opt/hive-1.1.0-cdh5.6.0
export PATH=$JAVA_HOME/bin/:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

　　 

   source  /etc/profile  #環境變量生效

  （6）驗證安裝

  首先啟動Hadoop和Mysql，在執行Hive

  執行創建表結構：create  table  test(id int);

  執行含有mapreduce的查詢

  

  補充：如果用戶通過SecureCRT鏈接虛擬機，則會出現進入hive命令行后無法使用退格鍵的情況？

           詳細描述： 通過SecureCRT連接服務器，使用Hive時，不能用Backspace或delete時

            解決方案：在選項里面有個會話選項--終端---仿真選項里面終端選擇linux即可。

    

 END~