背景:
隨着公司各項業務的快速發展與擴張,服務器和各種應用系統隨之而增加,同時對應用系統、服務器的穩定性,可持續性提出了更高的要求,公司希望搭建一套綜合的分析與監控系統,為各個部分提供決策支持。
需要解決的問題:
(1)數據孤島問題,數據分散在不同的業務系統當中;
(2)服務器日志信息如何有效搜集與存儲;
(3)業務部門分析需求不固定,經常有新的需求提出,如何滿足各部門的需求;
(4)基於上面的問題如何快速搭建多源的可視化分析系統;
技術選型與整體架構設計:

方案一:業務數據ETL,基於數倉架構模式

方案二:采用數據直接模式
(1)日志采集主要通過logstash來采集,然后存儲到搜索引擎中;
(2)業務系統數據可以采用兩種方案架構第一種是建設數倉,將不同數據匯集到數倉中;第二種:采用直連的方式直接對接大數據分析平台;
(3)大數據可視化分析采用NBI大數據可視化分析平台,可以實現多源數據分析,能很好的支持Elasticsearch,關系型數據庫,大數據存儲平台的數據接入;通過拖拽式和高度靈活的布局模式,可以快速構建各類可視化分析報告應用;通過權限控制,設置編輯與訪問權限,保障企業數據資產的安全有效利用;
(4)最終通過NBI大數據可視化分析平台構建各類數據分析應用,輸出給對應部門人員使用。
注意事項:
(1)Elasticsearch需要安裝一個sql插件elasticsearch-sql,根據es對應版本下載插件,便於做交互式分析;
(2)NBI大數據平台中,目前對Elasticsearch支持的建模方式為SQL建模
操作步驟:
(1)在NBI大數據平台中,通過數據管理模塊,添加Elasticsearch數據源;

數據源連接
(2)測試連接,檢驗是否能正常連接到Elasticsearch

連接測試
(3)連接成功,通過SQL建立工作表模型

創建數據工作表模型
(4)構建數據報告:

可視化報告構建
(5)設置訪問權限:

權限設置
以上案例通過NBI大數據可視化工具(nbi.easydatavis.com:8033)完成