Hadoop技術在商業智能BI中的應用


Hadoop是個非常流行的分布式計算解決方式,是Apache的一個開源項目名稱。核心部分包含HDFS及MapReduce。

當中。HDFS是分布式文件系統。MapReduce是分布式計算引擎。

時至今日。Hadoop在技術上已經得到驗證、認可甚至到了成熟期。同一時候也衍生出了一個龐大的生態圈。比較知名的包含HBase、Hive、Spark等。HBase是基於HDFS的分布式列式數據庫,HIVE是一個基於HBase數據倉庫系統。Impala為存儲在HDFS和HBase中的數據提供了實時SQL查詢功能,基於HIVE服務,並可共享HIVE的元數據。

Spark是一個類似MapReduce的並行計算框架。也提供了類似的HIVE的Spark SQL查詢接口,Hive是基於hadoop的數據分析工具。

非常多企業比方銀行流水作業非常多。數據都是實時更新且數據量非常大。會採用hadoop作為底層數據庫。借由中間商處理底層數據。然后通過BI系統去連接這些中間數據處理廠商的中間表,接入處理數據。尤其以星環、華為這類hadoop大數據平台商居多,使用也較為廣泛。

這里以星環大數據平台與帆軟大數據BI工具FineBI的結合應用來簡介下。

因為星環也是處理hadoop下的hive數據庫,其本質都是幾乎相同的。能夠使用Hive提供的jdbc驅動,這個驅動相同能夠讓FineBI連接星環的數據庫並進行一些類關系型數據庫的sql語句查詢等操作,部分特殊sql的公式須要與星環人員確認能否夠使用。

首先將這些驅動復制到報表project以下,然后重新啟動BIserver。

重新啟動后能夠建立與星環數據庫的數據連接,最后通過連接進行數據查詢。

1、本地部署

下圖是FineBI內部測試用的hadoop的jar包(將下面jar包放置於webinf-lib目錄下),親測。可連接成功,例如以下圖所看到的:

Hadoop技術在商業智能BI中的應用

2、數據連接

數據連接例如以下圖所看到的:

Hadoop技術在商業智能BI中的應用

測試連接成功之后。點擊確定,可直接選擇數據庫中相應的表增加業務包中,類似於Mysql這些最常見的數據庫取表方式。

Hadoop技術在商業智能BI中的應用

3、實際分析案例

某銀行的總行層面-機構維度-四象限圖

Hadoop技術在商業智能BI中的應用

(2)總行層面-機構維度-趨勢分析

Hadoop技術在商業智能BI中的應用

(3)總行層面-產品維度-盈利產品

Hadoop技術在商業智能BI中的應用

4.關於FineBIFineIndexFineDirect功能

Hadoop技術在商業智能BI中的應用

hadoop是底層,hive是數據庫。上述案例採用的是FineIndex(cube連)連接,用的是hiveserver的方式進行數據連接的;數據連接成功之后,將hive數據庫中的表加入到業務包中,也就是將庫中數據拿到我們的多維數據庫(FineIndex)。當然抓取的過程中也能夠讀取數據庫關聯和轉義。也能夠手動轉義和進行關聯。同一時候也能夠做一些etl操作如新增公式列/行列轉換/join/union/過濾/分組統計/自循環列/新增分組列/使用部分字段等,做過處理的這些數據表用於前端分析。

也就是說數據庫-FineIndex-前端分析,這里的FineIndex相當於一個中間庫的形式。用來存儲數據表,關聯轉義索引等。這些都對興許前台分析處理數據效率有非常大的提升(由於直接sql取數,效率受數據庫本身的限制。數據量大時,一般分析工具非常easy就卡死升職內存溢出導致系統無響應)。這也是FineIndex方案的初衷。FineIndex存在有兩個意義,一個是提升效率,一個就是對數據進行二次整合處理。

FineBI另一個連接方式FineDirect(數據庫直連),主要是應對例如以下需求:

  • 分析結果的實時性

企業用戶在使用BI工具的時候,多數情況下是對大量的歷史數據進行OLAP分析,可是也有部分用戶須要展現結果的實時性。比如金融行業對於交易風險的分析,是對每一筆流水實時進行分析的。假設須要經過構建多維數據庫的過程,數據到來就會有延遲,影響分析結果的准確性。可是由於計算的過程交給了數據庫。響應速度很多其它的取決於數據庫的性能。

  • 大數據平台的充分利用

隨着各種分布式計算方案的不斷優化,數據的計算性能也有了高速的發展。計算能力有了顯著的提高,不少企業已經有了自己的大數據計算平台,比如hadoop,kylin,greenplum,vertica等,這些平台的對於大數據量的處理性能已經足以滿足使用需求。不再有建模的需求,因此FineBI直連引擎提供了對接這些數據平台的功能。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM