當前企業的數據分析需求是越來越多,同時需要自助以及靈活性也越來越多,我們急需靈活同時支持多數據源快速
集成查詢,以及快速可視化報表的處理,以下是集合自己的一些了解以及學習,梳理一個簡單的數據分析以及數據
展示方案
整體參考架構設計
各層說明
- data mesh 層
主要是使用多種pg fdw 進行數據的集成多種數據源,同時可以添加以下而外的數據處理(比如物化試圖,列式存儲分析,數據轉換) - 數據虛擬化層
基於pgspider,加速多種數據的的查詢,提供提供數據源篩選能力,以及健康檢查能力 - 通用數據api 層
主要是基於hasura graphql-engine 以及cube.js 的多種數據api 提供能力(rest 以及graphql) - 安全以及api 路由層
基於api gatway(可以是openresty或者apisix 提供或者路由以及安全控制) - 數據展示層
可以基於cube.js 的都這報表數據展示能力以及graphql2chartjs 可以提供靈活的數據展示
說明
以上是一個簡單的集成處理,還有好多細節的需要處理
參考資料
https://github.com/hasura/graphql2chartjs
https://github.com/cube-js/cube.js
https://github.com/hasura/graphql-engine
https://github.com/rongfengliang/pgspider-docker
https://hub.docker.com/repository/docker/dalongrong/pgspider
https://github.com/pgspider/pgspider
https://www.cnblogs.com/rongfengliang/p/12368353.html