一、環境選擇 1，服務器選擇 阿里雲服務器:入門型(按量付費) 操作系統:linux CentOS 6.8 Cpu：1核 內存：1G 硬盤:40G ip:39.108.77.250 2，配置選擇 JDK:1.8 （jdk-8u144-linux-x64.tar.gz） Hadoop ...

引言 在大數據學習系列之一 ----- Hadoop環境搭建(單機) 成功的搭建了Hadoop的環境，在大數據學習系列之二 ----- HBase環境搭建(單機)成功搭建了HBase的環境以及相關使用介紹。本文主要講解如何搭建Hadoop+Hive的環境。 一、環境准備 1，服務器選擇 ...

前言 在搭建大數據Hadoop相關的環境時候，遇到很多了很多錯誤。我是個喜歡做筆記的人，這些錯誤基本都記載，並且將解決辦法也寫上了。因此寫成博客，希望能夠幫助那些搭建大數據環境的人解決問題。 說明: 遇到的問題以及相應的解決辦法是對於個人當時的環境，具體因人而異。如果碰到同樣的問題，本博客 ...

引言 在上一篇中 大數據學習系列之五 ----- Hive整合HBase圖文詳解 ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，並且測試成功了。在之前的大數據學習系列之一 ----- Hadoop環境搭建(單機 ...

引言 目錄 目錄 引言 目錄 一、環境選擇 1，集群機器安裝圖 2，配置說明 3，下載地址 二、集群的相關配置 1，主機名更改以及主機和IP做相關映射 1. 更改主機名 ...

一、Hadoop的優勢 1）高可靠性：因為Hadoop假設計算元素和存儲會出現故障，因為它維護多個工作數據副本，在出現故障時可以對失敗的節點重新分布處理。 2）高擴展性：在集群間分配任務數據，可方便的擴展數以千計的節點。 3） 高效性：在MapReduce的思想下，Hadoop是並行工作 ...

引言 在上一篇 大數據學習系列之四 ----- Hadoop+Hive環境搭建圖文詳解(單機) 和之前的大數據學習系列之二 ----- HBase環境搭建(單機) 中成功搭建了Hive和HBase的環境，並進行了相應的測試。本文主要講的是如何將Hive和HBase進行整合。 Hive ...

因篇幅過長，故分為兩節，上節主要說明hadoop運行環境和必須的基礎軟件，包括VMware虛擬機軟件的說明安裝、Xmanager5管理軟件以及CentOS操作系統的安裝和基本網絡配置。具體請參看： 【HADOOP】| 環境搭建：從零開始搭建hadoop大數據平台（單機/偽分布式）-上 6. ...