一、大数据的基本概念 1.1、什么是大数据 　　大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如： 　　 ...

MapReduce中，分片、分区、排序和分组（Group）的关系图： 分片大小 对于HDFS中存储的一个文件，要进行Map处理前，需要将它切分成多个块，才能分配给不同的MapTask去执 ...

一、为什么设置ssh免密码登录 在集群中，Hadoop控制脚本依赖SSH来执行针对整个集群的操作。例如，某个脚本能够终止并重启集群中的所有守护进程。所以，需要安装SSH，但是，SSH远程登陆的时候， ...

一、环境 硬件：虚拟机VMware、win7 操作系统：Centos-7 64位 主机名： hadoopServerOne 安装用户：root软件：jdk1.8.0_181、Hadoop-2.9.2 ...