大数据平台搭建（hadoop+spark） 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master 172.16.200.81 jdk、hadoop、spark、scala ...

大数据平台搭建（hadoop+spark） 一.基本信息 1. 服务器基本信息 主机名 ip地址 安装服务 spark-master 172.16.200.81 jdk、hadoop、spark ...

一、环境选择 1，服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核 内存：1G 硬盘:40G ip:39.108.77.250 2，配置选择 JDK:1.8 （jdk-8u144-linux-x64.tar.gz） Hadoop ...

前言 在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。 说明: 遇到的问题以及相应的解决办法是对于个人当时的环境，具体因人而异。如果碰到同样的问题，本博客 ...

配置完伪分布式虚拟机后，可以继续配置hadoop集群。配置伪分布式hadoop可以参考：http://dblab.xmu.edu.cn/blog/2441-2/ 教程里也有配置集群，但是是用物理机配置的，我们这里还是选择用虚拟机配置。 规划 一台主要计算机master ...

一、Hadoop的优势 1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 3） 高效性：在MapReduce的思想下，Hadoop是并行工作 ...

1 准备环境 192.168.0.251 shulaibao1 192.168.0.252 shulaibao2 hadoop-2.8.0-bin spark-2.1.1-bin-hadoop2.7 关闭selinux： /etc/selinux/config：SELINUX=disabled ...

引言 目录 目录 引言 目录 一、环境选择 1，集群机器安装图 2，配置说明 3，下载地址 二、集群的相关配置 1，主机名更改以及主机和IP做相关映射 1. 更改主机名 ...