Hadoop实战之一~Hadoop概述
对技术，我还是抱有敬畏之心的。 Hadoop概述 Hadoop是一个开源分布式云计算平台，基于Map/Reduce模型的，处理海量数据的离线分析工具。基于Java开发，建立在HDFS上，最早由Google提出，有兴趣的同学可以从Google三驾马车: GFS,mapreduce ...
原文：Hadoop实战笔记
一 基础知识 里面的内容包含大部分的Hadoop的内容，耐心的看完，肯定有收获，如有不同可留言或者上某度 Hadoop生态系统介绍 HBase Nosql 数据库，key value存储 最大化利用内存 HDFS 简介：Hadoop distribute file system 分布式文件系统 最大化利用磁盘 HDFS的设计原则： 文件以块 block 方式存储，默认块 M 如果一个文件没有 M， ...
2015-07-26 18:23 0 9567 推荐指数：
相关推荐
Hadoop学习笔记(8) ——实战 做个倒排索引
Hadoop学习笔记(8) ——实战 做个倒排索引 倒排索引是文档检索系统中最常用数据结构。根据单词反过来查在文档中出现的频率，而不是根据文档来，所以称倒排索引(Inverted Index)。结构如下: 这张索引表中， 每个单词都对应着一系列的出现该单词的文档，权表示该单词 ...
实战2——Hadoop的日志分析
1). 日志格式分析首先分析 Hadoop 的日志格式, 日志是一行一条, 日志格式可以依次描述为:日期、时间、级别、相关类和提示信息。如下所示: 2013-03-06 15:23:48,132 INFO ...
Hadoop项目实战
这个项目是流量经营项目，通过Hadoop的离线数据项目。 运营商通过HTTP日志，分析用户的上网行为数据，进行行为轨迹的增强。 HTTP数据格式为： 流程： 系统架构： 技术选型： 这里只针对其中的一个功能进行说明： 其中规则库是人工填充的，实例库 ...
[Hadoop] Hadoop学习笔记之Hadoop基础
1 Hadoop是什么？ Google公司发表了两篇论文：一篇论文是“The Google File System”，介绍如何实现分布式地存储海量数据；另一篇论文是“Mapreduce:Simplified Data Processing on Large Clusters”，介绍 ...
hadoop入门到实战（15）Sqoop从入门到实战
第1章 Sqoop 简介 Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据 ...
hadoop yarn 实战错误汇总
1.hadoop yarn 运行wordcount时执行完成，但是返回错误 错误信息如下： 有可能是mapreduce.jobhistory.address没有配置，因为yarn要读取jobhistory信息来获取是否执行成功，可以修改yarn-site.xml ...
Hadoop：实战Web日志分析
示例场景 日志说明 有两台Web服务器，日志文件存放在/usr/local/nginx/logs/目录，日志默认为nginx定义格式。如： 以空格分隔，共有12列数据： ...