1、數據倉庫
master角色:hive客戶端
slave1角色:hive服務端
slave2角色:安裝MySQL
2、slave2角色:安裝MySQL
1) 安裝wget
yum -y install wget
(換網安裝的時候遇到了提示yum,lock的情況)
rm -r /var/run/yum.pid
/sbin/service yum-updatesd restart
這樣解決
2) 下載mysql的repo源
wget http://repo.mysql.com/mysql57-community-release-el7-9.noarch.rpm
3) rpm安裝mysql的repo源
rpm -ivh mysql57-community-release-el7-9.noarch.rpm
4) 安裝mysql
yum install mysql-community-server
5) 查看安裝的mysql的版本
mysql -V
6) 加載修改過的所有配置
systemctl daemon-reload
啟動服務
systemctl start mysqld
開機就啟動mysql
systemctl enable mysqld
7) 登錄mysql
默認安裝mysql,root有密碼
查看mysql的root用戶的密碼:
grep "temporary password" /var/log/mysqld.log
修改密碼
mysqladmin -u root -p password "新密碼"
輸入舊密碼
登錄mysql
mysql -uroot -p
輸入你的密碼
修改msyql的密碼安全策略
set global validate_password_policy=0;
設置密碼長度
set global validate_password_length=4;
修改root用戶的密碼
alter user 'root'@'localhost' identified by '123456';
8) 設置遠程登錄
創建遠程登錄用戶
create user 'root'@'%' identified by '123456';
刪除用戶
drop user 'root'@'%';
授予權限
grant all privileges on *.* to 'root'@'%' with grant option;
刷新權限
flush privileges;
3、master和slave1都需要安裝hive
slave1角色:hive服務端
1)創建安裝目錄
mkdir /usr/hive
2)解壓
tar -xzvf apache-hive-2.1.1-bin.tar.gz -C /usr/hive/
3)復制到master角色
scp -r /usr/hive root@master:/usr/
4) 修改配置文件/etc/profile (master和slave1)
vi /etc/profile
#hive envirment
export HIVE_HOME=/usr/hive/apache-hive-2.1.1-bin
export PATH=\$PATH:\$HIVE_HOME/bin
source /etc/profile
5)slave1 :hive服務器配置
a.將mysql的驅動程序復制到slave1的hive安裝目錄的lib目錄中
cp /root/soft/mysql-connector-java-5.1.5-bin.jar /usr/hive/apache-hive-2.1.1-bin/lib/
b.修改配置文件hive-env.sh
cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
設置HADOOP_HOME的值
HADOOP_HOME=/hadoop/hadoop-2.7.3
c.修改hive-site.xml
cd /usr/hive/apache-hive-2.1.1-bin/conf
// cp hive-default.xml.template hive-site.xml (好像不用這行了)
vi hive-site.xml
<configuration>
<!-- Hive產生的元數據存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--數據庫連接JDBC的URL地址 -->
<property>
<name>javax.jdo.option.ConnectionURI</name>
<value>jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<!-- 數據庫連接driver,即MySQL驅動-->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!-- MySQL數據庫用戶名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!-- MySQL數據庫密碼-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
</property>
<property>
<name>datanucleus.schema.autoCreateAll</name>
<value>true</value>
</property>
</configuration>
6)master:hive客戶端配置
a) 版本沖突和jar包依賴問題
cp /usr/hive/apache-hive-2.1.1-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/
b) 修改hive-env.sh配置文件
cp /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh.template /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
vi /usr/hive/apache-hive-2.1.1-bin/conf/hive-env.sh
設置HADOOP_HOME的值
HADOOP_HOME=/hadoop/hadoop-2.7.3
c) 修改hive-site.xml文件
cd /usr/hive/apache-hive-2.1.1-bin/conf
// cp hive-default.xml.template hive-site.xml(好像不用這行了)
vi hive-site.xml
<configuration>
<!-- Hive產生的元數據存放位置-->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive_remote/warehouse</value>
</property>
<!--使用本地服務連接Hive,默認為true -->
<property>
<name>hive.metastore.local</name>
<value>false</value>
</property>
<!-- 連接服務器-->
<property>
<name>hive.metastore.uris</name>
<value>thrift://slave1:9083</value>
</property>
</configuration>
7)hive啟動
在zookeeper、Hadoop、HBase啟動之后
slave1(hive服務器端):
/usr/hive/apache-hive-2.1.1-bin/bin/hive --service metastore
master(hive客戶端)
/usr/hive/apache-hive-2.1.1-bin/bin/hive
輸入命令查看數據庫:
show databases;
退出hive的客戶端:quit;
退出hive的服務端:ctrl+z