前提 这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记。 基本概念 Hadoop中的HDFS和YARN都是主从架构,主从架构会有一主多从和多主多从两种架构,这里为了简化搭建集群的流程,这里使用一主多从的架构。Hadoop集群中各个角色的名称 ...
OS: Step : 配置IP: or or 为什么配置IP 因为我们如果在生产环境下,必须通过机器名精准的找到每台dataNode,通过为每台机器配置固定IP从而可以配置每台机器的Host. .Settings gt Network gt Wired gt set gt IP .stepup 命令 .修改配置文件 Step : 让普通用户拥有sudo权限 为什么需要配置sudo权限 如果我们每次 ...
2020-08-18 19:21 0 1182 推荐指数:
前提 这篇文章是基于Linux系统CentOS7搭建Hadoop-3.3.0分布式集群的详细手记。 基本概念 Hadoop中的HDFS和YARN都是主从架构,主从架构会有一主多从和多主多从两种架构,这里为了简化搭建集群的流程,这里使用一主多从的架构。Hadoop集群中各个角色的名称 ...
一、下载 apache-flume-1.9.0-bin.tar.gz 解压至 /home/hadoop-3.3.0/flume-1.9.0 目录; 二、创建相关目录 /home/hadoop-3.3.0/flumefile //用于接收tomcat日志文件 ...
一、下载hadoop-3.3.0-aarch64.tar.gz解压到/home/hadoop-3.3.0 目录 二、设置环境变量 /etc/profile 文件末尾添加红色内容: 保存文件后,执行 #source /etc/profile 使文件生效。 三、设置 ...
一、下载匹配hadoop-3.x.y 版本的hive 3.1.2 下载地址 : http://mirror.bit.edu.cn/apache/hive/ 二、上传至安装目录 /home/apache-hive-3.1.2-bin.tar.gz 解压:tar -zxvf ...
一开始会出现这个错误: 原因是:则应该是在代码根目录下直接执行过 cmake,导致根目录下生成了 CMakeCache.txt,需要删除 CMakeCache.txt再次 ...
本文内容不乏对各大佬的案例借鉴,侵删。 本次实验用到的有虚拟机,Xshell,Hadoop压缩包和jdk压缩包 hadoop111A:192.168.241.111 hadoop222B:192.168.241.112 hadoop ...
开始进行云计算部分的学习,为了存档,写下现在进行过的步骤 需要用到的主要版本: 虚拟机:Vmware Workstation pro 12.5 Linux系统:CentOS6.4 64bit jdk版本:jdk1.8.0_111 hadoop版本:hadoop-2.5.2 所有的包均可 ...
最近学习大数据相关的知识,便于对学习知识进行整理记忆,特将学习过程中的一些内容记录于此。 本地环境: Linux系统:Centos 7(最小安装) 内存:4G CPU: 2 网卡:2(IP:10.0.2.5、192.168.56.200 ...