最近学习大数据相关的知识,便于对学习知识进行整理记忆,特将学习过程中的一些内容记录于此。 本地环境: Linux系统:Centos 7(最小安装) 内存:4G CPU: 2 网卡:2(IP:10.0.2.5、192.168.56.200 ...
Hadoop的核心由 个部分组成: HDFS: Hadoop Distributed File System,分布式文件系统,hdfs还可以再细分为NameNode SecondaryNameNode DataNode。 YARN: Yet Another Resource Negotiator,资源管理调度系统 Mapreduce:分布式运算框架 软件与环境 环境:CentOS x Minima ...
2019-09-10 13:43 0 5019 推荐指数:
最近学习大数据相关的知识,便于对学习知识进行整理记忆,特将学习过程中的一些内容记录于此。 本地环境: Linux系统:Centos 7(最小安装) 内存:4G CPU: 2 网卡:2(IP:10.0.2.5、192.168.56.200 ...
本文以三台机器组成的一个Hadoop集群的安装与配置为例。 三台机器的信息如下: hostname 角色 IP dc01 mast 192.168.68.57 dc02 slave 192.168.68.58 dc03 ...
1.安装环境 本教程使用 CentOS 8 64位 作为系统环境,请自行安装系统。 本教程基于原生 Hadoop 2,在 Hadoop 2.8.5 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,例如 Hadoop 2.7.1, Hadoop 2.4.1等。 ------------------------------------------------------- ...
(这篇博客是本人csdn原创) 虚拟机的创建(可以自行百度) 虚拟机静态网络的设置 1:首先更改虚拟机的名字 2:进入network配置文件夹中,配置你的虚拟网卡 vim ifcfg ...
安装的是单点问题 2.安装Java JDK 由于Hadoop使用Java编写,要运行它我 ...
最近在学习大数据,需要安装hadoop,自己弄了好久,最后终于弄好了。网上也有很多文章关于安装hadoop的,但总会遇到一些问题,所以把整个过程记录下来,有什么不对的地方大家可以留言更正。 一、ssh免密登录 1、测试是否能免密登录 ...
1下载hadoop 本博文使用的hadoop是2.8.0 打开下载地址选择页面: http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 如图 ...
https://blog.csdn.net/pucao_cug/article/details/71698903 1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc ...