！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下： virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机） jdk1.7. ...

！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下： virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机） jdk1.7. ...

python with hdfs hdfs 可以在 linux 本地操作 但是这种只能在 命令行 操作。 通常我们需要在程序中实现远程操作，python 是可以的。需要用到 ...

1、先将网络设置为桥接模式 2、打开虚拟机，进入界面，点击编辑 3、设置IP，ipconfig/all查看物理机IP，虚拟机要与本机在同一网段 然后断开重新连接就可以上网了 ...

！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下： virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机） jdk1.7. ...

MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 ...

！！！该系列使用三台虚拟机搭建一个完整的spark集群，集群环境如下： virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版（连接虚拟机） jdk1.7. ...

由于篇幅较大，废话不多说，直奔主题。 hadoop 安装同样可分为 单机模式、伪分布式、完全分布式 本文主要介绍完全分布式，环境 centos 6.5，hadoop-2.6.5 第一 ...

NN与2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 假设存储在NameNode节点的硬盘中，因为经常需要随机访问和响应客户请求，必然效率太低，所以是存储在内存中 ...

DataNode工作机制 一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 DataNod ...