一、软件准备 1、基础docker镜像：ubuntu，目前最新的版本是18 2、需准备的环境软件包： 二、ubuntu镜像准备 1、获取官方的镜像： 2、因官方镜像中的apt源是国外资源，后续扩展安装软件包时较麻烦。先修改为国内源： （1）启动ubuntu ...

hadoop+spark集群搭建 本次实验环境：两台hadoop+两台spark组成集群 环境准备： 1. 两个主机实现ssh无密钥认证，包括本机与本机的免密钥认证: ssh-keygren ：生成一对密钥 ...

1.准备三台虚拟机 2.hadoop+hive+spark＋java软件包 传送门：Hadoop官网　　Hive官网　　Spark官网 一、修改主机名,hosts文件 　　主机名修改 　　　　　hostnamectl set-hostname *** 　　hosts文件 ...

上传hive软件包到任意节点 一、安装hive软件 　　解压缩hive软件包到/usr/local/hadoop/目录下 　　　　　 　　重命名hive文件夹 　　　　　 　　在/etc/profile文件中添加环境变量 　　　　　　export HIVE_HOME=/usr ...

一、spark安装 　　 因为之前安装过hadoop，所以，在“Choose a package type”后面需要选择“Pre-build with user-provided Hadoop [can use with most Hadoop 　　distributions]”，然后，点击 ...

参考https://github.com/kiwenlau/hadoop-cluster-docker/blob/master/start-container.sh 因为之前在VMware上操作Hadoop时发现资源消耗大，配置麻烦，所以思考能不能使用docker搭建Hadoop集群，感谢上面 ...

文章目录 Docker搭建Hadoop环境 Docker的安装与使用 拉取镜像 克隆配置脚本 创建网桥 执行脚本 Docker命令补充 更换镜像源 安装vim ...

借鉴：https://blog.csdn.net/u013705066/article/details/80030732下面这个例子让我感受到docker的便捷和强大。两行命令搭建spark集群：1.准备一个docker-compose.yml配置文件，描述集群结构及必要参数 ...