基於pgspider+ postgres fdw+ cube.js+hasura graphql-engine的數據分析&&展示方案


當前企業的數據分析需求是越來越多,同時需要自助以及靈活性也越來越多,我們急需靈活同時支持多數據源快速 
集成查詢,以及快速可視化報表的處理,以下是集合自己的一些了解以及學習,梳理一個簡單的數據分析以及數據 
展示方案

整體參考架構設計

 

 

各層說明

  • data mesh 層 
    主要是使用多種pg fdw 進行數據的集成多種數據源,同時可以添加以下而外的數據處理(比如物化試圖,列式存儲分析,數據轉換)
  • 數據虛擬化層 
    基於pgspider,加速多種數據的的查詢,提供提供數據源篩選能力,以及健康檢查能力
  • 通用數據api 層 
    主要是基於hasura graphql-engine 以及cube.js 的多種數據api 提供能力(rest 以及graphql)
  • 安全以及api 路由層 
    基於api gatway(可以是openresty或者apisix 提供或者路由以及安全控制)
  • 數據展示層 
    可以基於cube.js 的都這報表數據展示能力以及graphql2chartjs 可以提供靈活的數據展示

說明

以上是一個簡單的集成處理,還有好多細節的需要處理

參考資料

https://github.com/hasura/graphql2chartjs 
https://github.com/cube-js/cube.js 
https://github.com/hasura/graphql-engine 
https://github.com/rongfengliang/pgspider-docker 
https://hub.docker.com/repository/docker/dalongrong/pgspider 
https://github.com/pgspider/pgspider 
https://www.cnblogs.com/rongfengliang/p/12368353.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM