Hadoop学习笔记（1）：概念和整体架构
Hadoop简介和历史 Hadoop架构体系 Master和Slave节点 数据分析面临的问题和Hadoop思想 由于工作原因，必须学习和深入一下Hadoop，特此记录笔记。 什么是hadoop？ Apache Hadoop是一款支持数据密集型 ...
原文：Hadoop学习笔记1---简介 优点 架构分析
一 Hadoop简介 Hadoop最早起源于Nutch。Nutch是一个开源的网络搜索引擎，由Doug Cutting于 年创建。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取 索引，查询等功能，随着网页抓取数量的增加，遇到严重的可扩展问题，即不能解决数十亿网页的存储和索引的问题，之后，Google发布的两篇论文 The Google File System和MapReduce: ...
2013-08-13 17:20 1 4889 推荐指数：
相关推荐
C# Hadoop学习笔记（二）—架构原理
一，架构 二、名词解释 （一）NameNode（简称NN），Hadoop的主节点，负责侦听节点是否活跃，对外开放接口等。在未来的大数据处理过程中，由于访问量和节点数量的不断增多，需要该节点的处理能力较高，因此从集群搭建的角度，建议该节点的CPU配置较高 ...
Hadoop学习笔记—21.Hadoop2的改进内容简介
Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更： （1）HDFS的NameNode可以以集群的方式布署，增强了NameNodes的水平扩展能力和高可用性，分别是:HDFS ...
Hadoop体系架构简介
今天跟一个朋友在讨论hadoop体系架构，从当下流行的Hadoop+HDFS+MapReduce+Hbase+Pig+Hive+Spark+Storm开始一直讲到HDFS的底层实现，MapReduce的模型计算，到一个云盘如何实现，再到Google分布式史上那最伟大的三篇文章。 这几 ...
Prometheus学习笔记（1）Prometheus架构简介
Prometheus简介和架构 Prometheus 是由 SoundCloud 开源监控告警解决方案。架构图如下： 如上图，Prometheus主要由以下部分组成： Prometheus Server：用于抓取和存储时间序列化数据 Exporters：主动拉取数据的插件 ...
JAVA NIO学习笔记1 - 架构简介
最近项目中遇到不少NIO相关知识，之前对这块接触得较少，算是我的一个盲区，打算花点时间学习，简单做一点个人学习总结。 简介 NIO（New IO）是JDK1.4以后推出的全新IO API，相比传统IO方式NIO采用了全新的底层I/O模型。传统IO的设计概念是面向流，而NIO则是面向块。简单点说 ...
ELK简介及架构分析
一、ELK简介 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 Elasticsearch 是一个基于 Lucene 的、支持全文索引的分布式存储和索引引擎，主要负责将日志索引并存 ...
Spring4.0学习笔记1---开发环境搭建
1. Spring框架简介（以下这段话可用于面试求职） Spring为JavaEE开发提供了一个轻量级的解决方案，主要表现为， IOC（或者叫做DI）的核心机制，提供了bean工厂（Spring容器），降低了业务对象替换的复杂性，提高了组件之间的解耦。 AOP的将一些通用任务，如安全 ...