一、引言 　　最近的一次培訓，用戶特意提到Hadoop環境下HDFS中存儲的文件如何才能導入到HBase，關於這部分基於HBase Java API的寫入方式，之前曾經有過技術文章共享，本文就不再說明。本文基於Hive執行HDFS批量向HBase導入數據，講解Hive與HBase的整合問題。這方 ...

序言：在大數據領域存在一個現象，那就是組件繁多，粗略估計一下輕松超過20種。如果你是初學者，瞬間就會蒙圈，不知道力往哪里使。那么，為什么會出現這種現象呢？在本文的開頭筆者就簡單的闡述一下這種現象出現的原因，相信對一直陪伴筆者的你會有所幫助。 行文思路 大數據組件來源 Hive ...

大數據篇：Hbase Hbase是什么 Hbase是一個分布式、可擴展、支持海量數據存儲的NoSQL數據庫，物理結構存儲結構（K-V）。 如果沒有Hbase 如何在大數據場景中，做到上億數據秒級返回。(有條件：單條數據，范圍數據 ...

大數據篇：Kafka kafka.apache.org Kafka 是什么? Kafka是一種高吞吐量的分布式發布、訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據 ...

大數據篇：HDFS HDFS是什么? Hadoop分布式文件系統(HDFS)是指被設計成適合運行在通用硬件(commodity hardware)上的分布式文件系統（Distributed File System）。它和現有的分布式文件系統有很多共同點。但同時，它和其他的分布式 ...

大數據篇：Zookeeper 1 Zookeeper概念 Zookeeper是什么 是一個基於觀察者設計模式的分布式服務管理框架，它負責和管理需要關心的數據，然后接受觀察者的注冊，一旦這些數據的狀態發生變化，Zookeeper就將負責通知已經在Zookeeper ...

大數據篇：Spark Spark是什么 Spark是一個快速（基於內存），通用，可擴展的計算引擎，采用Scala語言編寫。2009年誕生於UC Berkeley(加州大學伯克利分校，CAL的AMP實驗室)，2010年開源，2013年6月進入Apach孵化器，2014年成 ...

大數據篇：ElasticSearch ElasticSearch是什么 ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用Java語言開發的，並作 ...