Hive安裝與部署集成mysql


前提條件:

1、一台配置好hadoop環境的虛擬機。hadoop環境搭建教程:稍后補充

2、存在hadoop賬戶。不存在的可以新建hadoop賬戶安裝配置hadoop。

安裝教程:


 

一、Mysql安裝

1、安裝mysql命令:Yum install mysql-server -y  (-y參數作用為所有需要輸入yes的地方默認yes)

2、打開mysql服務:Service mysqld start

3、設置mysql服務開機自啟動(也可以不設置,開機手動啟動):chkconfig –add mysqld

4、進入mysql命令行:mysql -u root -p   (root是賬戶不是必須root) 第一次進入不需要輸密碼可以直接:mysql命令進入mysql

5、設置密碼-第一次沒有密碼情況下設置:mysqladmin -u root password qixiao123

     ->如果不在第5步設置,也可以在Mysql命令行下修改密碼(先進入mysql):update user set password=password(‘新密碼’) where user=‘root’ FLUSH PRIVILEGES

  執行到這里可以輸入幾個mysql命令來進行測試一下:

  顯示數據庫: show databases;

  使用數據庫: use mysql;

  顯示表: show tables;


 

二、Hive的安裝與部署

1、首先下載Hive安裝包:hive-0.12.tar.gz 將安裝包上傳到虛擬機的將要安裝的目錄

2、使用命令解壓安裝包:tar –zxvf hive-0.12.tar.gz

3、修改home目錄下文件.bash_profile(可以:ll -a命令查看):vi .bash_profile

4、加入Hive環境變量

  

這里的HIVE_HOME 目錄要根據自己的安裝路徑寫,這里hive安裝在/home/hadoop/hadoop/hive-0.12.0目錄下

修改完成保存->ESC->:wq回車

輸入命令:source .bash_profile 更新文件

!上述步驟出錯的可以在.bashrc文件中配置,然后執行source .bashrc命令更新,更改.bashrc和更改.bash_profile文件效果是相同的。

5、切換目錄到$HIVE_HOME/conf/下;

6、修改default.xml.template和hive-env.sh.template文件的文件名為hive-site.xml和hive-env.sh。命令如下(可以使用cp或者mv命令):

  cp hive- default.xml.template  hive-site.xml 命令 和 cp hive-env.sh.template  hive-env.sh 命令;

7、修改hive-env.sh在 寫成自己的hadoop目錄

  

  這里修改成自己的hadoop安裝目錄;

8、修改上述的hive-site.xml文件內容:vi hive-site.xml

  在大約2000行左右 Vi命令:to 2000 (跳轉到2000行)

  修改</auth> 改為 </value> 匹配value標簽

  

9、Hive啟動方法:在命令行模式下直接輸入: hive 回車

如果出現:

  

則說明hive環境變量和配置沒有問題。到此,Hive的基本安裝及部署已經完成;

hive日志位置:/usr/local/share/applications/hive/hive-0.12.0/logs/hive.log


三、Hive集成Mysql作為元數據 

在Hive的使用中會使用Mysql,需要將mysql包上傳到hive/lib目錄中,mysql包可以在hive官網下載

將下載好的mysql jar包上傳到hive/lib目錄,使用SSH或者任意遠程連接工具上傳jar包

  

執行查看lib目錄可以查看到上傳好的jar包:[hadoop@hadoop01 lib]$ ll -a

1、修改/hive-0.12.0/conf 下的 hive-env.sh 文件

# Set HADOOP_HOME to point to a specific hadoop install directory
HADOOP_HOME=/home/hadoop/app/hadoop-2.6.2

# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/home/hadoop/app/hive-0.12.0/conf

   這里按照自己的安裝目錄進行修改。

2、/hive-0.12.0/conf 下的 hive-site.xml 文件的修改

  

  將里面的內容修改為:

  

復制代碼
 1 <?xml version="1.0"?>
 2 <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 3 <configuration>
 4     <property>
 5       <name>javax.jdo.option.ConnectionURL</name>
 6         <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
 7       <description>JDBC connect string for a JDBC metastore</description>
 8     </property>
 9     <property>
10       <name>javax.jdo.option.ConnectionUserName</name>
11       <value>hive</value>
12       <description>username to use against metastore database</description>
13     </property>
14     <property>
15       <name>javax.jdo.option.ConnectionPassword</name>
16       <value>hive</value>
17       <description>password to use against metastore database</description>
18     </property>
19 </configuration>
復制代碼

  

從前面我們知道我們的“hive-site.xml”是一個“hive-default.xml.template”的一個拷貝,里面的配置參數非常之多,但是並不是我們都需要的,我們知道,Hive系統會加載兩個配置文件一個默認配置文件“hive-default.xml”,另一個就是用戶自定義文件“hive-site.xml”。當“hive-site.xml”中的配置參數的值與“hive-default.xml”文件中不一致時,以用戶自定義的為准。所以我們就把我們不需要的參數都刪除掉,只留下上面所示的內容。
備注:其實修改這里的配置文件如果在Linux下面進行則非常麻煩,盡然我們都建立了FTP了,為何不用,所以把上面的這個配置文件下載下來,按照要求進行修改,這樣的文件在Windows進行操作是非常方便的,弄好之后再上傳上去,覆蓋原來的即可。

3、到這里我們的配置告一段落,進入hive環境:命令行下輸入:hive

  hive>show databases;

  

  hive>show tables;

  

  這里可以在hive中進行數據庫表的增刪改查操作;

 

 The End !


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM