Hadoop原理 分为HDFS与Yarn两个部分。HDFS有Namenode和Datanode两个部分。每个节点占用一个电脑。Datanode定时向Namenode发送心跳包，心跳包中包含Datanode的校验等信息，用来监控Datanode。HDFS将数据分为块，默认为 M每个块信息按照配置的参数分别备份在不同的Datanode，而数据块在哪个节点上，这些信息都存储到Namenode上面。Yar ...
2015-06-30 10:11 0 20186 推荐指数：
1.框架选型 hadoop-3.1.3 hive-3.1.2 zookeeper-3.5.7 hbase-2.2.3 kafka_2.11-2.4.0 spark-2.4.5-bin-hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala ...
Docker搭建大数据集群 （1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 虚拟机更新包 （2）安装Docker 移除 ...
引言 目录 目录 引言 目录 一、环境选择 1，集群机器安装图 2，配置说明 3，下载地址 二、集群的相关配置 ...
hdfs: hdfs官方文档 深入理解HDFS的架构和原理 https://blog.csdn.net/kezhong_wxl/article/details/76573901 HDFS原理解析（总体架构，读写操作流程） http://www.cnblogs.com ...
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势： 1.运行 ...
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统 ...
业余菜鸟第一次使用云服务器搭建大数据集群，下面是所有步骤 微信扫码关注公众号，有意想不到的惊喜哦！！！ ...
1.讲讲你做的过的项目, 项目里有哪些难点重点呢？ kafkaDirect ES /hive kafka producer 难点值得一提的有两点： 1.rdd中用到外部变量的时候如何处理 2.广播变量的更新 rdd处理kafka读过来的数据，这些数据引用外部的class来进行 ...
