presto 0.166安裝部署


系統:linux

java:jdk 8,64-bit

Connector:hive

分布式,node1-3

node1:Coordinator 、 Discovery service

node2-3:Worker

開始安裝部署

除了標紅的需要在node2-3上特殊處理,其他設置和node1一樣,下面以node1為例

Presto Server配置

解壓縮presto-server-0.166.tar.gz
tar zxvf presto-server-0.166.tar.gz

在presto-server-0.166目錄下創建etc目錄
cd presto-server-0.166
mkdir etc

在etc目錄下創建catalog目錄
cd etc
mkdir catalog

在catalog目錄下創建文件hive.properties,文件內容如下:
connector.name=hive-hadoop2
hive.metastore.uri=thrift://node1:9083
hive.config.resources=/home/orco/resources/hadoop-2.7.3/etc/hadoop/core-site.xml, /home/orco/resources/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

在etc目錄下創建config.properties文件,文件內容如下:
# 在非node1上設置為false coordinator
=true # 實驗環境下一般是true,生產環境還是讓coordinator那個節點別干worker的事情吧,設置成false node-scheduler.include-coordinator=false # zeeplin是8080 http-server.http.port=8081 query.max-memory=512MB query.max-memory-per-node=512MB discovery-server.enabled=true discovery.uri=http://node1:8081 在etc目錄下創建jvm.config文件,文件內容如下: -server -Xmx1G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:OnOutOfMemoryError=kill -9 %p 在etc目錄下創建node.properties文件,文件內容如下: node.environment=production
# id要唯一,node2的id是node2等 node.id
=node1 node.data-dir=/home/orco/resources/presto-server-0.166/presto_data

 

Presto Client配置

把客戶端jar包放置在presto-server-0.166/bin目錄下
mv presto-cli-0.166-executable.jar presto-server-0.166/bin/

修改客戶端jar包名為presto
mv presto-cli-0.166-executable.jar presto

修改presto客戶端jar包權限
chmod +x presto

把presto添加到環境變量中(~/.bash_profile)
export PRESTO_HOME=/home/orco/resources/presto-server-0.166
export PATH=$PRESTO_HOME/bin:$PATH

使得環境變量立即生效
source ~/.bash_profile

 

啟動Presto

Presto依賴HDFS和Hive metastore

啟動HDFS
/home/orco/resources/hadoop-2.7.3/sbin/start-dfs.sh

啟動Hive metastore
sudo service mysqld start
nohup hive --service metastore >> /home/orco/resources/apache-hive-2.1.1-bin/metastore.log 2>&1 &

啟動Presto,三台都各自啟動
/home/orco/resources/presto-server-0.166/bin/launcher start

查看Presto Web UI
http://node1:8081


啟動Presto客戶端
presto --server node1:8081 --catalog hive --schema default

server:指的是Coordinator的地址,配置在config.properties 中

hive:用的是hive的connector

default:用的是hive的default數據庫

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM