1.系统环境 　　FTP客户端：Windows7旗舰版，管理员权限命令行； 　　FTP服务端：CentOS 6.5，VSFTP，端口 21（默认） 2.登陆FTP 在命令行下输入 ftp ...

　　以前我们介绍的访问HDFS的方法都是单线程的，Hadoop中有一个工具可以让我们并行的拷贝大量数据文件，这个工具就是distcp。 　　distcp的典型应用就是在两个HDFS集群中拷贝文件，如 ...

　　　Hadoop作者:Dong Cutting. 　　　　　　　受Google三篇论文的启发. 　　　版本: 　　　　　Apache:官方版本 　　　　　Cloudera:官方版本的封 ...

　　由于hadoop主要是部署和应用在linux环境中的，但是目前鄙人自知能力有限，还无法完全把工作环境转移到linux中去（当然还有点小私心啦，windows下那么多好用的程序到linux下用不了还 ...

MapReduce概述 　　MapReduce是一种分布式计算模型,运行时不会在一台机器上运行.hadoop是分布式的,它是运行在很多的TaskTracker之上的. 　　在我们的TaskTrack ...

　　当某个数据集大大小超出单个物理机的存储能力时，我们可以考虑使用集群。管理跨网络机器存储的文件系统叫做分布式文件系统(Distributed FileSystem)。随着多节点的引入，相应的问题也就 ...

读文件 　　读文件时内部工作机制参看下图： 　　客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文 ...

　　本《hadoop学习笔记》系列是在《hadoop: the definitive guide 3th》的基础上通过网上额外搜集资料和查看hadoop的API再加上自己的实践方面的理解编写而成的，主 ...

初次写文章，之前都是学习别人写的东西，从今天开始学会记录、学会分享。 这段时间开始了Hadoop的学习，今天主要学习利用Sqoop从MySQL数据源向Hive中导入数据。 1.执行导入的操作命令： ...

记一次关闭Hadoop时no namenode to stop异常 ​ 在自己的虚拟机环境上跑着hadoop集群，一直正常运行着，不用的时候直接挂起虚拟机，今天需要做些调整，但是发现集群突然无法正常 ...