一、pig： 　　pig提供了一個基於Hadoop的並行地執行數據流處理的引擎。它包含了一種腳本語言，稱為Pig Latin。（類似SQL） 二、pig本地安裝(僅用於本地小代碼測試）： 下載地址：https://mirrors.tuna.tsinghua.edu.cn/apache/pig ...

　　開始聊mapreduce，mapreduce是hadoop的計算框架，我學hadoop是從hive開始入手，再到hdfs，當我學習hdfs時候，就感覺到hdfs和mapreduce關系的緊密。這個可能是我做技術研究的思路有關，我開始學習某一套技術總是想着這套技術到底能干什么，只有當我真正 ...

一、Hive：一個牛逼的數據倉庫 1.1 神馬是Hive？ 　　Hive 是建立在 Hadoop 基礎上的數據倉庫基礎構架。它提供了一系列的工具，可以用來進行數據提取轉化加載（ETL），這是一種可以存儲、查詢和分析存儲在 Hadoop 中的大規模數據的機制。Hive 定義了簡單的類 SQL ...

一、Sqoop基礎：連接關系型數據庫與Hadoop的橋梁 1.1 Sqoop的基本概念　　 　　Hadoop正成為企業用於大數據分析的最熱門選擇，但想將你的數據移植過去並不容易。Apache Sqoop正在加緊幫助客戶將重要數據從數據庫移到Hadoop。隨着Hadoop和關系型數據庫之間的數據 ...

START：Flume是Cloudera提供的一個高可用的、高可靠的開源分布式海量日志收集系統，日志數據可以經過Flume流向需要存儲終端目的地。這里的日志是一個統稱，泛指文件、操作記錄等許多數據。 ...

1.Hadoop&Streaming簡介 1.1 Hadoop簡介 Hadoop MapReduce是一個用於處理海量數據的分布式計算框架，這個框架解決了諸如 ...

1.常用Streaming命令介紹 使用下面的命令運行Streaming MapReduce程序： 1: $HADOOP_HOME/bin/hadoop/hadoop streaming args 其中args是streaming參數，下面是參數 ...

mapreduce體系很龐大，我們需要一條合適的線，來慢慢的去理解和學習。 1、ma ...