一、pig： 　　pig提供了一个基于Hadoop的并行地执行数据流处理的引擎。它包含了一种脚本语言，称为Pig Latin。（类似SQL） 二、pig本地安装(仅用于本地小代码测试）： 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/pig ...

　　开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正 ...

一、Hive：一个牛逼的数据仓库 1.1 神马是Hive？ 　　Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL ...

一、Sqoop基础：连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念　　 　　Hadoop正成为企业用于大数据分析的最热门选择，但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据 ...

START：Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统，日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称，泛指文件、操作记录等许多数据。 ...

1.Hadoop&Streaming简介 1.1 Hadoop简介 Hadoop MapReduce是一个用于处理海量数据的分布式计算框架，这个框架解决了诸如 ...

1.常用Streaming命令介绍 使用下面的命令运行Streaming MapReduce程序： 1: $HADOOP_HOME/bin/hadoop/hadoop streaming args 其中args是streaming参数，下面是参数 ...

mapreduce体系很庞大，我们需要一条合适的线，来慢慢的去理解和学习。 1、ma ...