Centos7.5安裝Impala
一、安裝包准備
1.1、Impala下載地址
http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/
1.2、impala依賴下載地址
http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/
1.3、Impala其他依賴
cyrus-sasl-plain lsb
由於lsb依賴過多,需要在內網配置一個本地yum源;且大數據平台需要配置一個統一ntp時間同步服務器;
1.4、將下載好的rpm包上傳服務器
二、實施安裝
(hadoop,hive集群已安裝好,且正常啟動狀態)
2.1、安裝其他依賴
cyrus-sasl-plain lsb ntp服務,如果ntp服務單獨在整個大數據平台安裝,此處就不需要安裝
yum install -y cyrus-sasl-plain lsb (主從節點)
2.2、安裝rpm包
主節點:
sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm
sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps
sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
從節點:
sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm
sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps
sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm
三、配置impala
3.1、配置bigtop-utils
vim /etc/default/bigtop-utils(主從節點)
3.2、配置impala
/etc/default/impala(主從節點)
IMPALA_CATALOG_SERVICE_HOST=infobeat-web #infobeat-web為impala主節點域名
IMPALA_STATE_STORE_HOST=infobeat-web #infobeat-web為impala主節點域名
3.3、整合hdfs和hive
配置impala的conf文件(主從節點)
把hadoop配置文件core-site.xml和hdfs-site.xml,以及hive配置文件hive-site.xml拷貝到/etc/impala/conf.dist/目錄下
同時編輯core-site.xml、hdfs-site.xml配置文件,在原有基礎上追加如下修改:
#hdfs-site.xml
<!--impala configuration -->
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.block.local-path-access.user</name>
<value>impala</value>
</property>
<property>
<name>dfs.client.file-block-storage-locations.timeout.millis</name>
<value>60000</value>
</property>
<property>
<name>dfs.domain.socket.path</name>
<value>/var/run/hadoop-hdfs/dn._PORT</value> #hadoop-hdfs手動創
</property>
# core-site.xml
<!--impala configuration -->
<property>
<name>dfs.client.read.shortcircuit</name>
<value>true</value>
</property>
<property>
<name>dfs.client.read.shortcircuit.skip.checksum</name>
<value>false</value>
</property>
<property>
<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>
<value>true</value>
</property>
3.4、重啟hadoop集群
stop-all.sh
3.5、設置scoket path
在目錄/var/run/目錄下新建目錄hadoop-hdfs(主從節點)
注意:該文件夾可能已經存在,應當確認用impala是否有權限進行讀寫。如果已經存在,將用戶impala加入該文件所屬的組,並修改該文件組的權限即: chown -R 775 hadoop-hdfs/
[root@hadoop]# cd /var/run/ #進入目錄/var/run/
[root@hadoop]#mkdir hadoop-hdfs #創建目錄hadoop-hdfs文件夾
[root@hadoop]# chown -R 775 hadoop-hdfs/ #設置權限
3.6、權限配置
如果想要impala和yarn合作,需要把impala用戶加入hdfs組(主從節點);
impala在執行drop table操作時,需要把文件移到到hdfs的回收站,所以需要創建一個hdfs的目錄/user/impala,並將其設置為impala用戶可寫。
同樣,impala需要讀取hive數據倉庫下的數據,故需要把impala用戶加入hive組。
[root@hadoop]#usermod -G hdfs,hadoop impala
[root@hadoop]# groups impala
impala:impala hdfs hadoop
另:創建impala在hdfs上的目錄並設置權限
[root@hadoop]$ hadoop fs -mkdir -p /user/impala
[root@hadoop]$ hadoop fs -chown impala /user/impala
3.7、添加mysql驅動
在/var/lib/impala/目錄下面添加mysql驅動jar
四、啟動impala
4.1、啟動主節點
[root@hadoop]# service impala-state-store restart
[root@hadoop]# service impala-catalog restart
[root@hadoop]# service impala-server restart
4.2、啟動從節點
[root@hadoop]# service impala-server restart
4.3、服務驗證
注意:
1、因為impala安裝需要root權限,所以可以給hadoop用戶添加sudo權限
gpasswd -a hadoop wheel #root執行
————————————————
版權聲明:本文為CSDN博主「火樹銀花之處」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/zcf1319/article/details/106085599/