ETL 工具和 BI 工具


ETL是數據倉庫中的非常重要的一環,是承前啟后的必要的一步。ETL負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層后進行清洗、轉換、集成,最后加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。下面給大家介紹一下什么是ETL以及ETL常用的三種工具(Datastage,Informatica,Kettle)!

ETL是什么?

ETL,是英文 Extract-Transform-Load 的縮寫,用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。(數據倉庫結構)通俗的說法就是從數據源抽取數據出來,進行清洗加工轉換,然后加載到定義好的數據倉庫模型中去。目的是將企業中的分散、零亂、標准不統一的數據整合到一起,為企業的決策提供分析依據。ETL是BI項目重要的一個環節,其設計的好壞影響生成數據的質量,直接關系到BI項目的成敗。

 

為什么要用ETL工具?

▶ 當數據來自不同的物理主機,這時候如使用SQL語句去處理的話,就顯得比較吃力且開銷也更大。

▶ 數據來源可以是各種不同的數據庫或者文件,這時候需要先把他們整理成統一的格式后才可以進行數據的處理,這一過程用代碼實現顯然有些麻煩。

▶ 在數據庫中我們當然可以使用存儲過程去處理數據,但是處理海量數據的時候存儲過程顯然比較吃力,而且會占用較多數據庫的資源,這可能會導致數據資源不足,進而影響數據庫的性能。

上面所說的問題,我們用ETL工具就可以解決。它的優點有:

支持多種異構數據源的連接。(部分)

● 圖形化的界面操作十分方便。

● 處理海量數據速度快、流程更清晰等。

 

Informatica和Datastage占據國內市場的大部分的份額。

BI 工具

1.Power BI,綜合評分:7.00分

Power BI來自大名鼎鼎的微軟,其在辦公軟件領域本就是霸主地位,進入到商業智能行業自然也不遑多讓,短短兩年,就已經是Gartner魔力象限中最具有競爭力的BI軟件了。

Power BI在功能、易用性3項上得分最高,而在安全性、性能、服務上則沒有很好的競爭力,主要原因是Power BI目前主推的是個人分析,適合短平快的分析需求,而且在企業級部署和應用上缺少完善的解決方案,所以,Power BI比較適合數據分析師用以錦上添花,而搭建企業級的BI系統就有點力不從心了。

2.Tableau,綜合評分:7.50分

Tableau算是國外BI領域最炙手可熱的一個產品了,也是Gartner魔力象限中名列前茅的產品。Tableau的功能豐富且強大,主推自助式分析,適合於業務人員和數據分析師使用;其可視化效果上也做的很好,可以實現很酷炫的數據圖表。產品的專業度很高,所以在性能、功能和易用性上得分較高。

跟絕大多的國外企業一樣,tableau的本土化做的實在稱不上好,所以它在國內的應用率遠比不上國外,只有少數跨國企業有所應用。究其原因,最主要的是Tableau走國內代理商的渠道,其銷售、實施和服務都是通過代理商來完成,並沒有建立本土團隊,這種代理模式的弊端顯而易見,就是項目質量和售后服務容易出問題,得不到保證,如果Tableau想要占領國內市場,應該要在這方面下下功夫了,當然,價格方面也過於昂貴,不太符合國情。

3.FineBI,綜合評分:8.33分

FineBI是國產BI軟件中的佼佼者,其母公司帆軟是做報表起家,目前在國內數據分析行業中首屈一指,可以參考IDC出的《2017年中國BI市場跟蹤報告》。FineBI最新的版本是5.0,主打的是超大數據量性能和自助式分析2個特點,最高可以支撐20億數據的秒級呈現,在功能方面跟Tableau很接近,適用於企業中的技術人員、業務人員和數據分析師,可以完全自主的進行探索式分析,軟件在易用性和功能上做的都很不錯,說實話,國內的BI行業由於起步較晚,能做到這個程度的確是下了一番功夫。

相較於國外產品而言,FIneIBI最大的優勢在於帆軟自主搭建的實施團隊和服務團隊,整個銷售、實施和服務的流程都由帆軟公司把控,而不是通過代理商或者其他第三方的機構,所以在FineBI在服務上的優勢較為明顯,再加上其相對合理的售價,能做到國內市場第一,的確是有其原因吶!

4.Smartbi,綜合評分:7.17分

Smartbi也是一款國產軟件,由廣州的思邁特公司開發,這家公司本是做Excel插件起家,得益於其強大的銷售能力,到如今也進入到BI領域。Smartbi在功能上相較於前面的3款軟件遜色不少,缺少諸如智能圖表推薦等先進性的功能支撐,在大數據性能上也表現一般,產品的UI界面比較古老,可能是骨子里的Excel基因導致。另一方面,Smartbi在服務和價格上也不具備太大優勢,總的來說,這是一款基礎型的中庸軟件。

5.永洪BI,綜合評分:7.17分

永洪BI由北京的一家創業公司開發,2年前倒是拿過騰訊的投資,盛極一時,但近來聲音越來越小,官網首頁也還停留在2年前的新聞,產品已經好久沒有更新過了,據小道消息,是公司在內部管理上出現問題,導致核心銷售和運營崗位人才的離職。話說回來,永洪BI在產品能力上還算不錯,特別是大數據性能方面,同樣可以支撐億級數據的抽取和分析,而在服務方面則表現一般,關於產品的介紹和學習資料都比較匱乏,價格上中規中矩,其實整個BI產品線中,價格主要就2個斷層,國內軟件一個檔次,國外軟件又是一個檔次。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM