Python連接presto


如果要使用Python來連接Presto,就需要相關的驅動包。
目前發現有兩個驅動包,分別是:
pyhive : https://github.com/dropbox/PyHive
presto-python-client : https://github.com/prestodb/presto-python-client
其中第二個是Presto官方自己弄的,不過使用率沒有pyhive高。在Superset中也是用pyhive來連接的,而且pyhive可以集成到sqlalchemy里,從而無縫地銜接pandas。

下面就簡單介紹一下怎么用pyhive來連接presto。
sqlalchemy提供了一個統一的連接方式,非常
pyhive實質是安裝了一個驅動,所以任何python里能創建一般化的數據庫連接的模塊都可以用來創建Presto連接。
安裝pyhive后,就可以執行下面的代碼。

from sqlalchemy import *
from sqlalchemy.engine import create_engine
from sqlalchemy.schema import *
import pandas as pd
# Presto
engine = create_engine('presto://host:port/hive/my_schema')  # host是服務器ip,port是端口,hive指的是Presto的catalog,my_schema是hive的schema。
df = pd.read_sql("select * from test",engine) # 和一般pandas從數據庫中讀取數據無任何區別,分析師們應該非常熟悉了。
print(df)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM