ETL(Extract-Transform-Load的縮寫,即數據抽取、轉換、裝載的過程)作為DW的核心和靈魂,能夠按照統一的規則集成並提高數據的價值,是負責完成數據從數據源向目標數據倉庫轉化的過程,是實施數據倉庫的重要步驟。如果說數據倉庫的模型設計是一座大廈的設計藍圖,數據是磚瓦的話,那么ETL就是建設大廈的過程。在整個項目中最難部分是用戶需求分析和模型設計,而ETL規則設計和實施則是工作量最大的,約占整個項目的60%~80%,這是國內外從眾多實踐中得到的普遍共識。
ETL是數據抽取(Extract)、清洗(Cleaning)、轉換(Transform)、裝載(Load)的過程。是構建數據倉庫的重要一環,用戶從數據源抽取出所需的數據,經過數據清洗,最終按照預先定義好的數據倉庫模型,將數據加載到數據倉庫中去。
於是,企業如何通過各種技術手段,並把數據轉換為信息、知識,已經成了提高其核心競爭力的主要瓶頸。而ETL則是主要的一個技術手段。
做數據倉庫系統,ETL是關鍵的一環。說大了,ETL是數據整合解決方案,說小了,就是倒數據的工具。
現在來說說ETL技術用到的工具,常用的有Informatica、Datastage、Beeload、Kettle等。目前只用過kettle,所以這里只對kettle做描述。
kettle是一款國外開源的ETL工具,純java編寫,可以在Window、Linux、Unix上運行,kettle 3版本需要安裝 3以上都是綠色版無需安裝。
原文地址:https://blog.csdn.net/a814046606/article/details/82349711