Kudu 常見的幾個應用場景


 

 

  不多說,直接上干貨!

 

 

 

Kudu 常見的幾個應用場景

  • 實時更新的應用。剛剛到達的數據就馬上要被終端用戶使用訪問到。
  • 時間序列相關的應用,需要同時支持:

    根據海量歷史數據查詢。
    必須非常快地返回關於單個實體的細粒度查詢。

  • 實時預測模型的應用,支持根據所有歷史數據周期地更新模型。

  有關這些和其他方案的更多信息,請參閱 Example Use Cases。

 

 

 

 

Streaming Input with Near Real Time Availability(具有近實時可用性的流輸入)

  數據分析中的一個共同挑戰就是新數據快速而不斷地到達,同樣的數據需要靠近實時的讀取,掃描和更新。Kudu 通過高效的列式掃描提供了快速插入和更新的強大組合,從而在單個存儲層上實現了實時分析用例。

 

Time-series application with widely varying access patterns(具有廣泛變化的訪問模式的時間序列應用)

  time-series(時間序列)模式是根據其發生時間組織和鍵入數據點的模式。這可以用於隨着時間的推移調查指標的性能,或者根據過去的數據嘗試預測未來的行為。例如,時間序列的客戶數據可以用於存儲購買點擊流歷史並預測未來的購買,或由客戶支持代表使用。雖然這些不同類型的分析正在發生,插入和更換也可能單獨和批量地發生,並且立即可用於讀取工作負載。Kudu 可以用 scalable (可擴展)和 efficient (高效的)方式同時處理所有這些訪問模式。由於一些原因,Kudu 非常適合時間序列的工作負載。隨着 Kudu 對基於 hash 的分區的支持,結合其對復合 row keys(行鍵)的本地支持,將許多服務器上的表設置成很簡單,而不會在使用范圍分區時通常觀察到“hotspotting(熱點)”的風險。Kudu 的列式存儲引擎在這種情況下也是有益的,因為許多時間序列工作負載只讀取了幾列,而不是整行。 過去,您可能需要使用多個數據存儲來處理不同的數據訪問模式。這種做法增加了應用程序和操作的復雜性,並重復了數據,使所需存儲量增加了一倍(或更糟)。Kudu 可以本地和高效地處理所有這些訪問模式,而無需將工作卸載到其他數據存儲。

 

Predictive Modeling(預測建模)

  數據科學家經常從大量數據中開發預測學習模型。模型和數據可能需要在學習發生時或隨着建模情況的變化而經常更新或修改。此外,科學家可能想改變模型中的一個或多個因素,看看隨着時間的推移會發生什么。在 HDFS 中更新存儲在文件中的大量數據是資源密集型的,因為每個文件需要被完全重寫。在 Kudu,更新發生在近乎實時。科學家可以調整值,重新運行查詢,並以秒或分鍾而不是幾小時或幾天刷新圖形。此外,批處理或增量算法可以隨時在數據上運行,具有接近實時的結果。

 

Combining Data In Kudu With Legacy Systems(結合 Kudu 與遺留系統的數據)

  公司從多個來源生成數據並將其存儲在各種系統和格式中。例如,您的一些數據可能存儲在 Kudu,一些在傳統的 RDBMS 中,一些在 HDFS 中的文件中。您可以使用 Impala 訪問和查詢所有這些源和格式,而無需更改舊版系統。

 

 

 

 

 

 

 

 

 

歡迎大家,加入我的微信公眾號:   大數據躺過的坑        人工智能躺過的坑          Java從入門到架構師
 
 
 

同時,大家可以關注我的個人博客

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   詳情請見:http://www.cnblogs.com/zlslch/p/7473861.html

 

  人生苦短,我願分享。本公眾號將秉持活到老學到老學習無休止的交流分享開源精神,匯聚於互聯網和個人學習工作的精華干貨知識,一切來於互聯網,反饋回互聯網。
  目前研究領域:大數據、機器學習、深度學習、人工智能、數據挖掘、數據分析。 語言涉及:Java、Scala、Python、Shell、Linux等 。同時還涉及平常所使用的手機、電腦和互聯網上的使用技巧、問題和實用軟件。 只要你一直關注和呆在群里,每天必須有收獲

 

      對應本平台的討論和答疑QQ群:大數據和人工智能躺過的坑(總群)(161156071) 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM