HDFS,MapReduce,Hive,Hbase 等之間的關系


 

 

 

HDFS:

HDFS是GFS的一種實現,他的完整名字是分布式文件系統,類似於FAT32,NTFS,是一種文件格式,是底層的。

Hive與Hbase的數據一般都存儲在HDFS上。Hadoop HDFS為他們提供了高可靠性的底層存儲支持。

 

Hive

Hive不支持更改數據的操作,Hive基於數據倉庫,提供靜態數據的動態查詢。其使用類SQL語言,底層經過編譯轉為MapReduce程序,在Hadoop上運行,數據存儲在HDFS上。

 

Hbase:

Hbase是Hadoop database,即Hadoop數據庫。它是一個適合於非結構化數據存儲的數據庫,HBase基於列的而不是基於行的模式。

HBase是Google Bigtable的開源實現,類似Google Bigtable利用GFS作為其文件存儲系統,HBase利用Hadoop HDFS作為其文件存儲系統;Google運行MapReduce來處理Bigtable中的海量數據,HBase同樣利用Hadoop MapReduce來處理HBase中的海量數據。

Hadoop HDFS為HBase提供了高可靠性的底層存儲支持,Hadoop MapReduce為HBase提供了高性能的計算能力,Zookeeper為HBase提供了穩定服務和failover機制。Pig和Hive還為HBase提供了高層語言支持,使得在HBase上進行數據統計處理變的非常簡單。 Sqoop則為HBase提供了方便的RDBMS(關系型數據庫)數據導入功能,使得傳統數據庫數據向HBase中遷移變的非常方便。

 

 

Pig:

Pig的語言層包括一個叫做PigLatin文本語言,Pig Latin是面向數據流的編程方式。Pig和Hive類似更側重於數據的查詢和分析,底層都是轉化成MapReduce程序運行。

區別是Hive是類SQL的查詢語言,要求數據存儲於表中,而Pig是面向數據流的一個程序語言。

 

Sqoop 

Sqoop則為HBase提供了方便的RDBMS數據導入功能,使得傳統數據庫數據向HBase中遷移變的非常方便。

 

 

轉自:https://blog.csdn.net/xincai/article/details/71123653

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM