Centos7.X安裝impala(RPM方式)


Centos7.5安裝Impala

一、安裝包准備
1.1、Impala下載地址

http://archive.cloudera.com/beta/impala-kudu/redhat/7/x86_64/impala-kudu/0/RPMS/x86_64/

 

 

1.2、impala依賴下載地址

http://archive.cloudera.com/cdh5/redhat/7/x86_64/cdh/5.9.0/RPMS/noarch/

 

 

1.3、Impala其他依賴

cyrus-sasl-plain lsb

由於lsb依賴過多,需要在內網配置一個本地yum源;且大數據平台需要配置一個統一ntp時間同步服務器;

 

1.4、將下載好的rpm包上傳服務器

 

二、實施安裝
(hadoop,hive集群已安裝好,且正常啟動狀態)

2.1、安裝其他依賴

cyrus-sasl-plain lsb ntp服務,如果ntp服務單獨在整個大數據平台安裝,此處就不需要安裝

yum install -y cyrus-sasl-plain lsb (主從節點)

2.2、安裝rpm包

主節點:

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-catalog-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-state-store-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

從節點:

sudo rpm -ivh bigtop-utils-0.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.30.el7.noarch.rpm

sudo rpm -ivh impala-kudu-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm --nodeps

sudo rpm -ivh impala-kudu-server-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-shell-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

sudo rpm -ivh impala-kudu-udf-devel-2.7.0+cdh5.9.0+0-1.cdh5.9.0.p0.11.el7.x86_64.rpm

三、配置impala
3.1、配置bigtop-utils

vim /etc/default/bigtop-utils(主從節點)

 

3.2、配置impala

/etc/default/impala(主從節點)

 

IMPALA_CATALOG_SERVICE_HOST=infobeat-web   #infobeat-web為impala主節點域名

IMPALA_STATE_STORE_HOST=infobeat-web   #infobeat-web為impala主節點域名

 

3.3、整合hdfs和hive

配置impala的conf文件(主從節點)

把hadoop配置文件core-site.xml和hdfs-site.xml,以及hive配置文件hive-site.xml拷貝到/etc/impala/conf.dist/目錄下

 

同時編輯core-site.xml、hdfs-site.xml配置文件,在原有基礎上追加如下修改:

#hdfs-site.xml

<!--impala configuration -->

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.block.local-path-access.user</name>

<value>impala</value>

</property>

<property>

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

<value>60000</value>

</property>

<property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hadoop-hdfs/dn._PORT</value>      #hadoop-hdfs手動創

</property>

 

# core-site.xml

<!--impala configuration -->

<property>

<name>dfs.client.read.shortcircuit</name>

<value>true</value>

</property>

<property>

<name>dfs.client.read.shortcircuit.skip.checksum</name>

<value>false</value>

</property>

<property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

<value>true</value>

</property>

3.4、重啟hadoop集群

stop-all.sh

 

3.5、設置scoket path

在目錄/var/run/目錄下新建目錄hadoop-hdfs(主從節點)

注意:該文件夾可能已經存在,應當確認用impala是否有權限進行讀寫。如果已經存在,將用戶impala加入該文件所屬的組,並修改該文件組的權限即: chown -R 775 hadoop-hdfs/

[root@hadoop]# cd /var/run/ #進入目錄/var/run/

[root@hadoop]#mkdir hadoop-hdfs #創建目錄hadoop-hdfs文件夾

[root@hadoop]# chown -R 775 hadoop-hdfs/ #設置權限

3.6、權限配置

如果想要impala和yarn合作,需要把impala用戶加入hdfs組(主從節點);

impala在執行drop table操作時,需要把文件移到到hdfs的回收站,所以需要創建一個hdfs的目錄/user/impala,並將其設置為impala用戶可寫。

同樣,impala需要讀取hive數據倉庫下的數據,故需要把impala用戶加入hive組。

[root@hadoop]#usermod -G hdfs,hadoop impala

[root@hadoop]# groups impala

impala:impala hdfs hadoop

另:創建impala在hdfs上的目錄並設置權限

[root@hadoop]$ hadoop fs -mkdir -p /user/impala

[root@hadoop]$ hadoop fs -chown impala /user/impala

3.7、添加mysql驅動

在/var/lib/impala/目錄下面添加mysql驅動jar

 

四、啟動impala
4.1、啟動主節點

[root@hadoop]# service impala-state-store restart

[root@hadoop]# service impala-catalog restart

[root@hadoop]# service impala-server restart

4.2、啟動從節點

[root@hadoop]# service impala-server restart

4.3、服務驗證

 

注意:
1、因為impala安裝需要root權限,所以可以給hadoop用戶添加sudo權限

gpasswd -a hadoop wheel #root執行


————————————————
版權聲明:本文為CSDN博主「火樹銀花之處」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/zcf1319/article/details/106085599/


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM