node . . . node . . . node . . . 备注 NameNode Hadoop Y Y 高可用 DateNode Y Y Y ResourceManager Y Y 高可用 NodeManager Y Y Y JournalNodes Y Y Y 奇数个,至少 个节点 ZKFC DFSZKFailoverController Y Y 有namenode的地方就有ZKFC ...
2017-06-28 13:04 0 3116 推荐指数：
前言 在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。 说明: 遇到的问题以及相应的解决办法是对于个人当时的环境，具体因人而异。如果碰到同样的问题，本博客 ...
引言 目录 目录 引言 目录 一、环境选择 1，集群机器安装图 2，配置说明 3，下载地址 二、集群的相关配置 1，主机名更改以及主机和IP做相关映射 1. 更改主机名 ...
引言 在上一篇中 大数据学习系列之五 ----- Hive整合HBase图文详解 ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，并且测试成功了。在之前的大数据学习系列之一 ----- Hadoop环境搭建(单机 ...
Docker搭建大数据集群 （1）本机系统设置 电脑设置虚拟缓存（设置为自动管理） 虚拟机设置内存和CPU 内存设置为8G（或以上） CPU稍微设置高一点（三个虚拟化能开就开） 虚拟机系统配置阿里源 虚拟机更新包 （2）安装Docker 移除 ...
一、Hadoop的优势 1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 3） 高效性：在MapReduce的思想下，Hadoop是并行工作 ...
1.框架选型 hadoop-3.1.3 hive-3.1.2 zookeeper-3.5.7 hbase-2.2.3 kafka_2.11-2.4.0 spark-2.4.5-bin-hadoop2.7 2.安装前准备 1.关闭防火墙 2.安装 JDK 3.安装 Scala ...
引言 在大数据学习系列之一 ----- Hadoop环境搭建(单机) 成功的搭建了Hadoop的环境，在大数据学习系列之二 ----- HBase环境搭建(单机)成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop+Hive的环境。 一、环境准备 1，服务器选择 ...
杨赟快跑 简书作者 2018-09-24 10:24 打开App 摘要：大数据门槛较高，仅仅环境的搭建可能就要耗费我们大量的精力，本文总结了作者是如何搭建大数据环境的（单机版和集群版），希望能帮助学弟学妹 ...
