Presto
Presto是一個開源的分布式SQL查詢引擎，數據量支持GB到PB字節，主要用來處理秒級查詢的場景。
雖presto可以解析SQL，但它不是一個標准的數據庫，不是MySQL、Oracle的代替品，也不能用來處理在線事務（OLTP）；
Presto、Impala性能比較
測試結論：Impala性能稍領先於Presto，但是Presto在數據源支持上非常豐富，包括Hive、圖數據庫、傳統關系型數據庫、Redis等。
下載安裝
官網： https://prestodb.github.io/
1）下載地址
https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz
Presto Server安裝
2）將presto-server-0.196.tar.gz導入hadoop101的/opt/software目錄下，並解壓到/opt/module目錄 [kris@hadoop101 software]$ tar -zxvf presto-server-0.196.tar.gz -C /opt/module/ 3）修改名稱為presto [kris@hadoop101 module]$ mv presto-server-0.196/ presto 4）進入到/opt/module/presto目錄，並創建存儲數據文件夾 [kirs@hadoop101 presto]$ mkdir data 5）進入到/opt/module/presto目錄，並創建存儲配置文件文件夾 [kirs@hadoop101 presto]$ mkdir etc 6）配置在/opt/module/presto/etc目錄下添加jvm.config配置文件 [kirs@hadoop101 etc]$ vim jvm.config
-server -Xmx16G -XX:+UseG1GC -XX:G1HeapRegionSize=32M -XX:+UseGCOverheadLimit -XX:+ExplicitGCInvokesConcurrent -XX:+HeapDumpOnOutOfMemoryError -XX:+ExitOnOutOfMemoryError
7）Presto可以支持多個數據源，在Presto里面叫catalog，這里我們配置支持Hive的數據源，配置一個Hive的catalog
[kirs@hadoop101 etc]$ mkdir catalog [kirs@hadoop101 catalog]$ vim hive.properties connector.name=hive-hadoop2 hive.metastore.uri=thrift://hadoop101:9083
8）將hadoop101上的presto分發到hadoop102、hadoop103 [kirs@hadoop101 module]$ xsync presto 9）分發之后，分別進入hadoop101、hadoop102、hadoop103三台主機的/opt/module/presto/etc的路徑。配置node屬性，node id每個節點都不一樣。
[kirs@hadoop101 etc]$vim node.properties node.environment=production node.id=ffffffff-ffff-ffff-ffff-ffffffffffff node.data-dir=/opt/module/presto/data [kirs@hadoop102 etc]$vim node.properties node.environment=production node.id=ffffffff-ffff-ffff-ffff-fffffffffffe node.data-dir=/opt/module/presto/data [kirs@hadoop103 etc]$vim node.properties node.environment=production node.id=ffffffff-ffff-ffff-ffff-fffffffffffd node.data-dir=/opt/module/presto/data
10）Presto是由一個coordinator節點和多個worker節點組成。在hadoop101上配置成coordinator，在hadoop102、hadoop103上配置為worker。
（1）hadoop101上配置coordinator節點
[kirs@hadoop101 etc]$ vim config.properties coordinator=true node-scheduler.include-coordinator=false http-server.http.port=8881 query.max-memory=50GB discovery-server.enabled=true discovery.uri=http://hadoop101:8881
（2）hadoop102、hadoop103上配置worker節點
[kirs@hadoop102 etc]$ vim config.properties coordinator=false http-server.http.port=8881 query.max-memory=50GB discovery.uri=http://hadoop101:8881 [kirs@hadoop103 etc]$ vim config.properties coordinator=false http-server.http.port=8881 query.max-memory=50GB discovery.uri=http://hadoop101:8881
啟動
11）在/opt/module/hive目錄下，啟動Hive Metastore，用kris角色 [kris@hadoop101 hive] nohup bin/hive --service metastore >/dev/null 2>&1 & 12）分別在hadoop101、hadoop102、hadoop103上啟動presto server （1）前台啟動presto，控制台顯示日志 [kirs@hadoop101 presto]$ bin/launcher run [kirs@hadoop102 presto]$ bin/launcher run [kirs@hadoop103 presto]$ bin/launcher run （2）或者后台啟動presto [kirs@hadoop101 presto]$ bin/launcher start [kirs@hadoop102 presto]$ bin/launcher start [kirs@hadoop103 presto]$ bin/launcher start
日志查看路徑/opt/module/presto/data/var/log
Presto命令行Client安裝
用的少
1）下載Presto的客戶端
https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196-executable.jar
2）將presto-cli-0.196-executable.jar上傳到hadoop101的/opt/module/presto文件夾下 3）修改文件名稱 [kirs@hadoop101 presto]mv presto−cli−0.196−executable.jar prestocli
4）增加執行權限[kirs@hadoop101presto] chmod +x prestocli 5）啟動prestocli [kirs@hadoop101 presto]$ ./prestocli --server hadoop101:8881 --catalog hive --schema default 6）Presto命令行操作 Presto的命令行操作，相當於hive命令行操作。每個表必須要加上schema。 例如：select * from schema.table limit 100
Presto可視化Client安裝
1）將yanagishima-18.0.zip上傳到hadoop101的/opt/module目錄 2）解壓縮yanagishima [kirs@hadoop101 module]$ unzip yanagishima-18.0.zip cd yanagishima-18.0 3）進入到/opt/module/yanagishima-18.0/conf文件夾，編寫yanagishima.properties配置 [kirs@hadoop101 conf]$ vim yanagishima.properties jetty.port=7080 presto.datasources=kris-presto presto.coordinator.server.kris-presto=http://hadoop101:8881 catalog.kris-presto=hive schema.kris-presto=default sql.query.engines=presto
4）在/opt/module/yanagishima-18.0路徑下啟動yanagishima [kirs@hadoop101 yanagishima-18.0]$ nohup bin/yanagishima-start.sh >y.log 2>&1 & 5）啟動web頁面 http://hadoop101:7080 看到界面，進行查詢了。
這里有個Tree View，可以查看所有表的結構，包括Schema、表、字段等。
比如執行select * from hive.sparkmall.user_info limit 10，這個句子里Hive這個詞可以刪掉，是上面配置的Catalog。
每個表后面都有個復制鍵，點一下會復制完整的表名，然后再上面框里面輸入sql語句，ctrl+enter鍵執行顯示結果
Presto的優化
數據存儲的優化
1 合理設置分區 與Hive類似，Presto會根據元數據信息讀取分區數據，合理的分區能減少Presto數據讀取量，提升查詢性能。 2 使用列式存儲 Presto對ORC文件讀取做了特定優化，因此在Hive中創建Presto使用的表時，建議采用ORC格式存儲。相對於Parquet，Presto對ORC支持更好。 3 使用壓縮 數據壓縮可以減少節點間數據傳輸對IO帶寬壓力，對於即席查詢需要快速解壓，建議采用Snappy壓縮。
查詢SQL的優化
1 只選擇使用的字段 由於采用列式存儲，選擇需要的字段可加快字段的讀取、減少數據量。避免采用*讀取所有字段。 [GOOD]: SELECT time, user, host FROM tbl [BAD]: SELECT * FROM tbl 2 過濾條件必須加上分區字段 對於有分區的表，where語句中優先使用分區字段進行過濾。acct_day是分區字段，visit_time是具體訪問時間。 [GOOD]: SELECT time, user, host FROM tbl where acct_day=20171101
[BAD]: SELECT * FROM tbl where visit_time=20171101
3 Group By語句優化 合理安排Group by語句中字段順序對性能有一定提升。將Group By語句中字段按照每個字段distinct數據多少進行降序排列。 [GOOD]: SELECT GROUP BY uid, gender [BAD]: SELECT GROUP BY gender, uid 4 Order by時使用Limit Order by需要掃描數據到單個worker節點進行排序，導致單個worker需要大量內存。如果是查詢Top N或者Bottom N，使用limit可減少排序計算和內存壓力。 [GOOD]: SELECT * FROM tbl ORDER BY time LIMIT 100
[BAD]: SELECT * FROM tbl ORDER BY time 5 使用Join語句時將大表放在左邊 Presto中join的默認算法是broadcast join，即將join左邊的表分割到多個worker，然后將join右邊的表數據整個復制一份發送到每個worker進行計算。如果右邊的表數據量太大，則可能會報內存溢出錯誤。 [GOOD] SELECT ... FROM large_table l join small_table s on l.id = s.id [BAD] SELECT ... FROM small_table s join large_table l on l.id = s.id
注意事項
1 字段名引用 避免和關鍵字沖突：MySQL對字段加反引號`、Presto對字段加雙引號分割 當然，如果字段名稱不是關鍵字，可以不加這個雙引號。 2 時間函數 對於Timestamp，需要進行比較的時候，需要添加Timestamp關鍵字，而MySQL中對Timestamp可以直接進行比較。 /*MySQL的寫法*/
SELECT t FROM a WHERE t > '2017-01-01 00:00:00'; /*Presto中的寫法*/
SELECT t FROM a WHERE t > timestamp '2017-01-01 00:00:00'; 3 不支持INSERT OVERWRITE語法 Presto中不支持insert overwrite語法，只能先delete，然后insert into。 4 PARQUET格式 Presto目前支持Parquet格式，支持查詢，但不支持insert。