花费 38 ms
编译本地64位版本的hadoop-2.6.0

  官方提供的hadoop-2.x版本貌似都是32位的,在64位机子下使用可能会报错,最好使用官方提供的源码进行本地编译,编译成适合本地硬件环境的64位软件包。 关于native   H ...

Thu Mar 19 19:32:00 CST 2015 0 5228
Hadoop平台常用配置及优化建议

  当发现作业运行效率不理想时,需要对作业执行进行性能监测,以及对作业本身、集群平台进行优化。优化后的集群可能最大化利用硬件资源,从而提高作业的执行效率。本文记录了在hadoop集群平台搭建以及作业运 ...

Tue Jun 09 23:42:00 CST 2015 0 3230
Hadoop2.x的Eclipse插件编译与安装

  Eclipse的Hadoop插件在开发hadoop应用程序中可以提供一些很方便的操作,可以直接Eclipse中浏览HDFS上的文件,可以直接新建选择MapReduce项目,项目自动包含所有需要的h ...

Wed Jun 17 00:05:00 CST 2015 2 2627
Flume -- 开源分布式日志收集系统

  Flume是Cloudera提供的一个高可用的、高可靠的开源分布式海量日志收集系统,日志数据可以经过Flume流向需要存储终端目的地。这里的日志是一个统称,泛指文件、操作记录等许多数据。 一 ...

Thu Jan 15 05:37:00 CST 2015 0 2888
使用MapReduce实现join操作

  在关系型数据库中,要实现join操作是非常方便的,通过sql定义的join原语就可以实现。在hdfs存储的海量数据中,要实现join操作,可以通过HiveQL很方便地实现。不过HiveQL也是转 ...

Sun Jun 07 23:28:00 CST 2015 0 2235

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM