基於關系型數據庫和ES搜索引擎,實現多源百億級,數據的大數據分析方案


背景:

隨着公司各項業務的快速發展與擴張,服務器和各種應用系統隨之而增加,同時對應用系統、服務器的穩定性,可持續性提出了更高的要求,公司希望搭建一套綜合的分析與監控系統,為各個部分提供決策支持。

需要解決的問題:

(1)數據孤島問題,數據分散在不同的業務系統當中;

(2)服務器日志信息如何有效搜集與存儲;

(3)業務部門分析需求不固定,經常有新的需求提出,如何滿足各部門的需求;

(4)基於上面的問題如何快速搭建多源的可視化分析系統;

技術選型與整體架構設計:


方案一:業務數據ETL,基於數倉架構模式


方案二:采用數據直接模式

(1)日志采集主要通過logstash來采集,然后存儲到搜索引擎中;

(2)業務系統數據可以采用兩種方案架構第一種是建設數倉,將不同數據匯集到數倉中;第二種:采用直連的方式直接對接大數據分析平台;

(3)大數據可視化分析采用NBI大數據可視化分析平台,可以實現多源數據分析,能很好的支持Elasticsearch,關系型數據庫,大數據存儲平台的數據接入;通過拖拽式和高度靈活的布局模式,可以快速構建各類可視化分析報告應用;通過權限控制,設置編輯與訪問權限,保障企業數據資產的安全有效利用;

(4)最終通過NBI大數據可視化分析平台構建各類數據分析應用,輸出給對應部門人員使用。

注意事項:

(1)Elasticsearch需要安裝一個sql插件elasticsearch-sql,根據es對應版本下載插件,便於做交互式分析;

(2)NBI大數據平台中,目前對Elasticsearch支持的建模方式為SQL建模

操作步驟:

(1)在NBI大數據平台中,通過數據管理模塊,添加Elasticsearch數據源;


數據源連接

(2)測試連接,檢驗是否能正常連接到Elasticsearch


連接測試

(3)連接成功,通過SQL建立工作表模型


創建數據工作表模型

(4)構建數據報告:


可視化報告構建

(5)設置訪問權限:


權限設置

以上案例通過NBI大數據可視化工具(nbi.easydatavis.com:8033)完成


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM