redash 提供了一個簡單的 query results 可以幫助我們進行跨數據源的查詢處理
底層數據的存儲是基於sqlite的,期望后期有調整(畢竟處理能力有限),同時
query results 也提供了cache 的功能,可以加速數據的查詢處理
約定
- query results 創建
query results 的名稱格式為query_*
其中* 為query 的id,id,我們可以通過瀏覽器url 查看,或者可以查詢后端數據庫
對於cache 的格式為cached_query_*
比如如下一個query(redash pg 數據庫),假設保存之后的query id 為15
那么創建的query results 應該為 - 查詢此數據源
可以看到為pg 的數據
- 通過cache 加速查詢
進行數據關聯查詢
以下是一個簡單的測試,為了簡單我直接使用query_* 以及cached_query_* 的數據進行查詢
- 跨庫查詢
說明
如果實在發現基於內置的sqlite 性能不行,我們可以通過drill 或者presto ,impala ,或者singer 的etl 進行數據統一處理,然后在基於redash 進行查詢
也都是不錯的選擇,內置的這個功能還是很方便的,可以簡化我么查詢數據的處理,當然對於大數據量的處理還需要進行測試,看看性能如何。
參考資料
https://redash.io/help/user-guide/querying/query-results-data-source