1.概述 今天繼續《高可用的Hadoop平台》系列,今天開始進行小規模的實戰下,前面的准備工作完成后,基本用於統計數據的平台都擁有了,關於導出統計結果的文章留到后面贅述。今天要和大家分享的案例是一個基於電商網站的用戶行為分析,這里分析的指標包含以下指標: 統計每日PV 每日注冊 ...
.概述 這篇博客是接着 高可用Hadoop平台 系列講,本篇博客是為后面用 Hive 來做數據統計做准備的,介紹如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程來贅述: 環境准備 集成並配置 Hive 工具 使用 Java API 開發 Hive 代碼 下面開始進行環境准備。 .環境准備 Hive版本: Hive . HAProxy版本: HAProxy . ...
2015-03-26 14:28 3 4445 推薦指數:
1.概述 今天繼續《高可用的Hadoop平台》系列,今天開始進行小規模的實戰下,前面的准備工作完成后,基本用於統計數據的平台都擁有了,關於導出統計結果的文章留到后面贅述。今天要和大家分享的案例是一個基於電商網站的用戶行為分析,這里分析的指標包含以下指標: 統計每日PV 每日注冊 ...
1.概述 在Hadoop2.x之后的版本,提出了解決單點問題的方案--HA(High Available 高可用)。這篇博客闡述如何搭建高可用的HDFS和YARN,執行步驟如下: 創建hadoop用戶 安裝JDK 配置hosts 安裝SSH 關閉防火牆 修改 ...
文章概覽: 1、機器規划和預配置 2、軟件安裝 3、集群文件配置 4、啟動集群 5、HA驗證 6、注意事項 7、小結 機器規划和預 ...
1.概述 在上篇博客中,我們搭建了《配置高可用Hadoop平台》,接下來我們就可以駕着Hadoop這艘巨輪在大數據的海洋中遨游了。工欲善其事,必先利其器。是的,沒錯;我們開發需要有開發工具(IDE);本篇文章,我打算講解如何搭建和使用開發環境,以及編寫和講解WordCount這個例 ...
1.概述 前面一篇博客《高可用Hadoop平台-Ganglia安裝部署》,為大家介紹了Ganglia在Hadoop中的集成,今天為大家介紹另一款工具——Hue,該工具功能比較豐富,下面是今天為大家分享的內容目錄: Hue簡述 Hue In Hadoop 截圖預覽 ...
1.概述 今天補充一篇HBase集群的搭建,這個是高可用系列遺漏的一篇博客,今天抽時間補上,今天給大家介紹的主要內容目錄如下所示: 基礎軟件的准備 HBase介紹 HBase集群搭建 單點問題驗證 截圖預覽 那么,接下來我們開始今天的HBase集群搭建學習 ...
部署在Hadoop集群上,雖然這沒什么不好,但是我們分析得知,若是將應用部署在DN節點,那么時間長了應 ...
1.概述 最近,有朋友私密我,Hadoop有什么好的監控工具,其實,Hadoop的監控工具還是蠻多的。今天給大家分享一個老牌監控工具Ganglia,這個在企業用的也算是比較多的,Hadoop對它的兼容也很好,不過就是監控界面就不是很美觀。下次給大家介紹另一款工具——Hue,這個界面官方稱為 ...