[Python實戰] 功能簡單的數據查詢及可視化系統

前言

數據時代，數據的多源集成和快速檢索查詢是第一步，配上數據分析及可視化才能算窺得大數據一角。
創建這個項目的主要目的一是對前期工作的一些總結，二是提升自己。
這里簡單介紹一下sqlpro這個項目的核心功能。

本項目基於python的flask web框架。提供簡單的頁面（起初准備用vue寫前端，奈何自身能力所限，遂放棄。依然基於flask+jinja2的mvt模式）。

對於數據查詢引擎部分，因為需要支持多數據源，所以選用了presto。presto是一個優秀的支持多種數據源聯合查詢的數據查詢引擎。

可視化部分選用了pyecharts進行集成。方便完成多種數據圖表的展示，由於前端能力薄弱，只開放了一些通用設置，還需繼續完善。

功能特性

1. 動態添加數據源，支持多數據源聯合查詢
2. 數據處理統一使用pandas庫，方便二次開發
3. 基於pyecharts的可視化模塊，圖表類型齊全
4. dashboard構建及鏈接分享
5. data wrangling功能（后續支持）
6. 在線數據錄入及數據下載（后續支持）

當前版本主要實現了基本的數據源管理，數據查詢，數據可視化及數據儀表板等功能。在后面的迭代過程中會以data wrangling作為主要功能，方便數據的清洗和預處理。

項目展示

先上圖，沒圖說個雞兒。
數據源管理及查詢

數據可視化-添加圖例

數據可視化-圖例列表

數據儀表盤及鏈接分享

git倉庫地址：https://github.com/Ji3jin/sqlpro

總結

本文沒有過多的討論該項目的實現原理，感興趣的可以看看源碼，比較簡單。有興趣的話可以參與進來一起哦。
同時，該項目也會持續更新，希望未來可以加入更多實用的功能。

我就是個菜雞，歡迎關注微信公眾號：叄金大數據