通過redash query results 數據源實現跨數據庫的查詢


redash 提供了一個簡單的 query results 可以幫助我們進行跨數據源的查詢處理 
底層數據的存儲是基於sqlite的,期望后期有調整(畢竟處理能力有限),同時 
query results 也提供了cache 的功能,可以加速數據的查詢處理

約定

  • query results 創建 
    query results 的名稱格式為query_* 其中* 為query 的id,id,我們可以通過瀏覽器url 查看,或者可以查詢后端數據庫 
    對於cache 的格式為cached_query_* 

     


    比如如下一個query(redash pg 數據庫),假設保存之后的query id 為15 

     


    那么創建的query results 應該為 

     

  • 查詢此數據源 
    可以看到為pg 的數據

 

  • 通過cache 加速查詢

 

進行數據關聯查詢

以下是一個簡單的測試,為了簡單我直接使用query_* 以及cached_query_* 的數據進行查詢

  • 跨庫查詢

 

說明

如果實在發現基於內置的sqlite 性能不行,我們可以通過drill 或者presto ,impala ,或者singer 的etl 進行數據統一處理,然后在基於redash 進行查詢 
也都是不錯的選擇,內置的這個功能還是很方便的,可以簡化我么查詢數據的處理,當然對於大數據量的處理還需要進行測試,看看性能如何。

參考資料

https://redash.io/help/user-guide/querying/query-results-data-source


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM