ClickHouse 具有強勁的數據分析能力,同時支持標准sql 查詢,內置了好多聚合參數
同時可以方便的使用表函數連接不同的數據源(url,jdbc,文件目錄。。。)
測試使用docker安裝 參考項目 https://github.com/rongfengliang/clickhouse-docker-compose
環境准備
- docker-compose 文件
version: "3"
services:
server:
image: yandex/clickhouse-server
ports:
- "8123:8123"
- "9000:9000"
- "9009:9009"
ulimits:
nproc: 65535
nofile:
soft: 262144
hard: 262144
client:
image: yandex/clickhouse-client
command: ['--host', 'server']
- 基礎數據
https://raw.githubusercontent.com/rongfengliang/clickhouse-docker-compose/master/data/info.csv
就是一個簡單的csv 文件內容
運行&&測試
- 啟動
docker-compose up -d
- 創建測試表
CREATE TABLE wikistat
(
project String,
subproject String,
hits UInt64,
size UInt64
) ENGINE = Log;
- 導入數據
使用docker client
docker run -i yandex/clickhouse-client --format_csv_delimiter="|" --host ${hostip} --query="INSERT INTO default.wikistat FORMAT csv" < ./data/info
- 查詢測試
docker client || HouseOps client (不是很好用,不能粘貼)
docker run -i yandex/clickhouse-client --host 10.6.207.208 --query="select * from default.wikistat "
說明
以上只是簡單的導入,查詢,實際上clickhouse 的功能很強大,同時創建表的時候我們可以指定不同的存儲引擎,支持多種數據導入格式,同時
官方文檔目前來說也是比較全的。
參考資料
https://clickhouse.yandex/docs/en/
https://github.com/rongfengliang/clickhouse-docker-compose