8.Hive數據倉庫


1、數據倉庫

master角色:hive客戶端
slave1角色:hive服務端
slave2角色:安裝MySQL

 

2、slave2角色:安裝MySQL

1) 安裝wget

yum -y install wget

(換網安裝的時候遇到了提示yum,lock的情況)

 rm -r /var/run/yum.pid

/sbin/service yum-updatesd restart

這樣解決

 

2) 下載mysql的repo源

wget http://repo.mysql.com/mysql57-community-release-el7-9.noarch.rpm

 

3) rpm安裝mysql的repo源

rpm -ivh mysql57-community-release-el7-9.noarch.rpm

 

4) 安裝mysql

yum install mysql-community-server

 

5) 查看安裝的mysql的版本

mysql -V

 

6) 加載修改過的所有配置

systemctl daemon-reload

啟動服務

systemctl start mysqld

開機就啟動mysql

systemctl enable mysqld


7) 登錄mysql

默認安裝mysql,root有密碼

查看mysql的root用戶的密碼:

grep "temporary password" /var/log/mysqld.log

修改密碼

mysqladmin -u root -p password "新密碼"

輸入舊密碼

 

登錄mysql

mysql -uroot -p

輸入你的密碼

修改msyql的密碼安全策略

set global validate_password_policy=0;

設置密碼長度

set global validate_password_length=4;

修改root用戶的密碼

alter user 'root'@'localhost' identified by '123456';

 

8) 設置遠程登錄

創建遠程登錄用戶

create user 'root'@'%' identified by '123456';

刪除用戶

drop user 'root'@'%';

授予權限

grant all privileges on *.* to 'root'@'%' with grant option;

刷新權限

flush privileges;

 

3、master和slave1都需要安裝hive

slave1角色:hive服務端

1)創建安裝目錄

mkdir /usr/hive

 

2)解壓

tar -xzvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive/

 

3)復制到master角色

scp -r /usr/hive root@master:/usr/

 

4) 修改配置文件/etc/profile (master和slave1)

vi /etc/profile

#hive envirment

export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin

export PATH=\$PATH:\$HIVE_HOME/bin

source /etc/profile

 

5)slave1 :hive服務器配置

a.將mysql的驅動程序復制到slave1的hive安裝目錄的lib目錄中

cp /root/soft/mysql-connector-java-5.1.5-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib/

 

b.修改配置文件hive-env.sh

cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

設置HADOOP_HOME的值

HADOOP_HOME=/hadoop/hadoop-2.7.3

 

c.修改hive-site.xml

cd /usr/hive/apache-hive-2.1.1-bin/conf

// cp hive-default.xml.template hive-site.xml (好像不用這行了)

vi hive-site.xml

<configuration>

<!-- Hive產生的元數據存放位置-->

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive_remote/warehouse</value>

</property>

<!--數據庫連接JDBC的URL地址 -->

<property>

<name>javax.jdo.option.ConnectionURI</name>

<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value>

</property>

<!-- 數據庫連接driver,即MySQL驅動-->

<property>

<name>javax.jdo.option.ConnectionDriverName</name>

<value>com.mysql.jdbc.Driver</value>

</property>

<!-- MySQL數據庫用戶名-->

<property>

<name>javax.jdo.option.ConnectionUserName</name>

<value>root</value>

</property>

<!-- MySQL數據庫密碼-->

<property>

<name>javax.jdo.option.ConnectionPassword</name>

<value>123456</value>

</property>

<property>

<name>hive.metastore.schema.verification</name>

<value>false</value>

</property>

<property>

<name>datanucleus.schema.autoCreateAll</name>

<value>true</value>

</property>

</configuration>

 

6)master:hive客戶端配置

a) 版本沖突和jar包依賴問題

cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

 

b) 修改hive-env.sh配置文件

cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh

設置HADOOP_HOME的值

HADOOP_HOME=/hadoop/hadoop-2.7.3

 

c) 修改hive-site.xml文件

cd /usr/hive/apache-hive-2.1.1-bin/conf 

// cp hive-default.xml.template hive-site.xml(好像不用這行了)

vi hive-site.xml

<configuration>

<!-- Hive產生的元數據存放位置-->

<property>

<name>hive.metastore.warehouse.dir</name>

<value>/user/hive_remote/warehouse</value>

</property>

<!--使用本地服務連接Hive,默認為true -->

<property>

<name>hive.metastore.local</name>

<value>false</value>

</property>

<!-- 連接服務器-->

<property>

<name>hive.metastore.uris</name>

<value>thrift://slave1:9083</value>

</property>

</configuration>

 

7)hive啟動

在zookeeper、Hadoop、HBase啟動之后

slave1(hive服務器端):

/usr/hive/apache-hive-2.1.1-bin/bin/hive --service metastore

master(hive客戶端)

/usr/hive/apache-hive-2.1.1-bin/bin/hive

輸入命令查看數據庫:

show databases;

退出hive的客戶端:quit;

退出hive的服務端:ctrl+z


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM