原文:Hadoop学习笔记—17.Hive框架学习

一 Hive:一个牛逼的数据仓库 . 神马是Hive Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载 ETL ,这是一种可以存储 查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL ,它允许熟悉 SQL 的用户查询数据。同时,这个语言也允许熟悉 MapReduce 开发者的开发 ...

2015-04-19 21:43 1 8911 推荐指数:

查看详情

Hadoop学习笔记(六):hive使用

1. 安装hive:上传apache-hive-2.1.1-bin.tar.gz文件到/usr/local目录下,解压后更名为hive。 2. 配置hive环境变量,编辑/etc/profile文件(配置完后记得source /etc/profile使其生效) 3. 配置hive,进入到 ...

Thu Oct 12 17:30:00 CST 2017 0 1268
hadoop 学习笔记:mapreduce框架详解

  开始聊mapreduce,mapreduce是hadoop的计算框架,我学hadoop是从hive开始入手,再到hdfs,当我学习hdfs时候,就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关,我开始学习某一套技术总是想着这套技术到底能干什么,只有当我真正 ...

Mon Jun 24 02:00:00 CST 2013 26 73297
Hadoop学习笔记—16.Pig框架学习

一、关于Pig:别以为猪不能干活 1.1 Pig的简介   Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个 ...

Fri Apr 10 09:37:00 CST 2015 1 4567
Hadoop学习笔记—18.Sqoop框架学习

一、Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念     Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据移植过去并不容易。Apache Sqoop正在加紧帮助客户将重要数据从数据库移到Hadoop。随着Hadoop和关系型数据库之间的数据 ...

Mon Apr 20 08:08:00 CST 2015 5 6481
Hadoop学习笔记—19.Flume框架学习

START:Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称,泛指文件、操作记录等许多数据。 ...

Wed Apr 22 08:39:00 CST 2015 1 4423
Hadoop Hive概念学习系列之什么是Hive

参考 《Hadoop大数据分析与挖掘实战》的在线电子书阅读 http://yuedu.baidu.com/ebook/d128cf8e33687e21ae45a935?pn=1&click_type=10010002   Hive最初 ...

Thu May 31 19:16:00 CST 2018 0 6944
Hadoop学习之HBase和Hive的区别

  Hive是为简化编写MapReduce程序而生的,使用MapReduce做过数据分析的人都知道,很多分析程序除业务逻辑不同外,程序流程基本一样。在这种情况下,就需要Hive这样的用户编程接口。Hive本身不存储和计算数据,它完全依赖於HDFS和MapReduce,Hive中的表纯逻辑表,就是些 ...

Wed Sep 30 17:22:00 CST 2015 0 4492
Hive学习笔记——hive hook

Hive hook是hive的钩子函数,可以嵌入HQL执行的过程中运行,比如下面的这几种情况 参考 https://www.slideshare.net/julingks/apache-hive-hooksminwookim130813 有了Hook,可以实现例如非法SQL ...

Sun Mar 22 06:00:00 CST 2020 0 4639
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM