Presto單機/集群模式安裝筆記

• Presto單機/集群模式安裝筆記
  • 一、安裝環境
  • 二、安裝步驟
  • 三、集群模式安裝:
    • 3.1 集群模式修改配置部分
    • 3.1.1 coordinator 節點配置。
      • Node172配置
    • 3.1.2 node節點配置：【注意coordinator=false】
      • Node50
      • Node47
    • 3.2 Cli遠程連接測試：（指定Server為172）

Presto單機/集群模式安裝筆記

一、安裝環境

1. JDK版本要求: 1.9.0_92+

二、安裝步驟

1. 官網下載最新版本

   https://prestodb.io/docs/current/installation/deployment.html

2. 配置，參考網址

   http://prestodb-china.com/docs/current/installation/deployment.html

   etc/node.properties暫時配置如下: node.data-dir=/opt/dtwave/presto/data (新建data目錄)

   注意刪除etc/config.properties中的task.max-memory=1GB。 否則啟動報如下錯誤:

   啟動服務: bin/launcher start

ERROR com.facebook.presto.server.PrestoServer Unable to create injector, see the following errors:

1) Error: Invalid configuration property node.environment: is malformed (for class io.airlift.node.NodeConfig.environment)

2) Error: Defunct property 'task.max-memory' (class [class com.facebook.presto.execution.TaskManagerConfig]) cannot be configured.

3.查詢日志目錄

/opt/dtwave/presto/data/var/log

4.瀏覽器查看

http://ip:8086/

5.下載客戶端，下載到 ／opt/dtwave/presto/bin目錄下

https://prestodb.io/docs/current/installation/cli.html

重命名為 presto-cli

$ mv presto-cli-0.180-executable.jar presto-cli

$ chmod +x presto-cli

添加環境變量 /etc/profile

export PRESTO_HOME=/opt/dtwave/presto

export PATH=$PATH:$PRESTO_HOME/bin

source /etc/profile

6.配置Hive連接器，etc/catalog目錄新建 hive.properties, 內容如下:

connector.name=hive-hadoop2
hive.metastore.uri=thrift://master106:9083
hive.config.resources=/opt/dtwave/hadoop/etc/hadoop/core-site.xml,/opt/dtwave/hadoop/etc/hadoop/hdfs-site.xml

7.連接Hive,

presto-cli –server outer_ip:8086 –catalog hive –schema default

presto-cli –server inner_ip:8086 –catalog hive –schema default

或者（不指定數據庫）

presto-cli –server ip:8086 –cata 大專欄  Presto單機/集群模式安裝筆記log hive

presto> describe hive.dtwave_dev.bas_user_info;
 Column |  Type   | Extra | Comment 
--------+---------+-------+---------
 id     | integer |       |         
 name   | varchar |       |         
 age    | integer |       |         
(3 rows)

Query 20170707_171515_00005_cxg9d, FINISHED, 1 node
Splits: 18 total, 18 done (100.00%)
0:01 [3 rows, 216B] [4 rows/s, 320B/s]

presto> select * from hive.dtwave_dev.bas_user_info limit 10;
 id | name  | age 
----+-------+-----
  1 | zhang |  23 
  2 | san   |  24 
  3 | li    |  35 

=============================

三、集群模式安裝:

從第一台安裝好的persto機器上scp 文件夾過去

scp -r presto-server-0.180 hadoop@node47:/opt/dtwave/
scp -r presto-server-0.180 hadoop@1node.50:/opt/dtwave/
scp -r presto-server-0.180 hadoop@node172:/opt/dtwave/

scp -r jdk1.8.0_131 hadoop@node47:/opt/dtwave/
scp -r jdk1.8.0_131 hadoop@node50:/opt/dtwave/
scp -r jdk1.8.0_131 hadoop@node172:/opt/dtwave/

創建軟鏈接：

ln -s presto-server-0.180 presto

刪除目錄/presto/data下所有舊文件。

配置環境變量：

export PRESTO_HOME=/opt/dtwave/presto
export PATH=$PATH:$PRESTO_HOME/bin

source /etc/profile

刪除舊版本jdk軟連接

rm -rf jdk

創建軟鏈接升級JDK：

ln -s jdk1.8.0_131 jdk

3.1 集群模式修改配置部分

把Node172作為coordinator Node45和Node47作為Node。修改配置后重新啟動。

3.1.1 coordinator 節點配置。

Node172配置

:vim config.properties

coordinator=true node-scheduler.include-coordinator=false task.max-memory=1GB http-server.http.port=8086 discovery-server.enabled=true discovery.uri=http://node172:8086

:vim node.properties

node.environment=dtwave node.id=172 node.data-dir=/opt/dtwave/presto/data

3.1.2 node節點配置：【注意coordinator=false】

Node50

coordinator=false
http-server.http.port=8086
discovery-server.enabled=true
discovery.uri=http://node172:8086

node.environment=dtwave
node.id=50
node.data-dir=/opt/dtwave/presto/data

Node47

coordinator=false
http-server.http.port=8086
discovery-server.enabled=true
discovery.uri=http://node172:8086

node.environment=dtwave
node.id=47
node.data-dir=/opt/dtwave/presto/data

3.2 Cli遠程連接測試：（指定Server為172）

presto-cli --server node172:8086 --catalog hive --schema default