主要是一個玩法的集成，使用apache kyuubi 簡化spark 的使用，而且如果我們集成數據庫存儲格式也是很方便的（感謝網易做出的貢獻）
參考圖
簡單說明：
我們直接基於apache kyuubi 進行delta lake 的操作，數據存儲到minio s3 中，然后使用dremio 強大的能力（數據加速，數據集成能力）方便的進行數據查詢分析
環境准備
- 下載安裝apache kyuubi （使用了最近的版本）
參考連接，注意新版本是沒有直接集成spark的需要自己下載，同時delta lake 的包也是需要自己配置的
https://kyuubi.apache.org/releases.html - 下載spark
可以使用apache kyuubi 1.2 github 上提供的直接解壓就放到externals 目錄下 - delta lake 以及s3 集成
需要自己下載軟件包，我已經提供好了一個，可以直接使用，參考github ，這些軟件包可以直接放到spark 的jars 目錄
https://github.com/rongfengliang/delta-lake-s3-jars 
- delta lake 配置
conf/kyuubi-defaults.conf 文件
kyuubi.frontend.bind.host 0.0.0.0
kyuubi.frontend.bind.port 10019
# minio s3 集成，
spark.hadoop.fs.s3a.access.key=minio
spark.hadoop.fs.s3a.secret.key=minio123
spark.hadoop.fs.s3a.endpoint=localhost:9000
spark.hadoop.fs.s3a.path.style.access=true
spark.hadoop.fs.s3a.connection.ssl.enabled=false
spark.sql.extensions=io.delta.sql.DeltaSparkSessionExtension
spark.sql.catalog.spark_catalog=org.apache.spark.sql.delta.catalog.DeltaCatalog
spark.databricks.delta.retentionDurationCheck.enabled=false
- dremio s3 部署
version: "3"
services:
s3:
image: minio/minio
environment:
- "MINIO_ACCESS_KEY=minio"
- "MINIO_SECRET_KEY=minio123"
command: server /data --console-address ":9001"
ports:
- "9000:9000"
- "9001:9001"
app:
image: dremio/dremio-oss:19.0
ports:
- "9047:9047"
- "31010:31010"
啟動&集成試用
- 啟動
啟動之后還需要創建s3 bucket (delta-lake)，不然基於apache kyuubi 創建表會提示bucket 不存在的
./bin/kyuubi run
docker-compose up -d
- 創建table
CREATE TABLE events9 (
eventId STRING,
eventType STRING,
data STRING)
USING DELTA
LOCATION 's3a://delta-lake/firstdemo' // 指定s3 路徑
insert into events9 values('1111','11111','11111') // 寫入數據
- dremio 集成
配置數據源 
數據查詢 
說明
以上是基於apache kyuubi 集成dremio 的一個玩法，我們基於spark 的能力加上dremio 強大的查詢能力，進行數據分析是很靈活的，apache kyuubi 是一個好東西
參考資料
https://github.com/rongfengliang/delta-lake-s3-jars
https://kyuubi.apache.org/releases.html
https://docs.delta.io/latest/delta-storage.html#amazon-s3
https://www.cnblogs.com/rongfengliang/p/14928505.html
https://docs.dremio.com/deployment/dist-store-config/