目的： 前期学习了一些机器学习基本算法，实际企业应用中算法是核心，运行的环境和数据处理的平台是基础。 手段： 搭建简易hadoop集群（由于机器限制在自己的笔记本上通过虚拟机搭建） 一、基础环境介绍 win10 vmware15.0.0 3 ubuntu 虚拟机 ...

准备工作 1.下载hadoop2.5.2.tar.gz 2.下载hadoop-eclipse-plugin-2.5.2.jar插件。如果你的hadoop不是这个版本的，请自己动手编译插件，教程戳这 3.下载winutils.exe以及hadoop.dll （64位 ...

1.编写程序代码如下： Wordcount.scala 2.将程序打包成wordcount.jar 3.编写wordcount.sh脚本 其中的wordcount.txt是要统计的文本。 4.将wordcount.txt文件上传到hdfs中对应的目录，并启动 ...

有关hadoop及java安装配置请见：https://www.cnblogs.com/lxc1910/p/11734477.html 1、新建Java project： 选择合适的jdk，如图所示： 将工程命名为WordCount。 2、添加WordCount类文件 ...

需求 计算出文件中每个单词的频数。要求输出结果按照单词的字母顺序进行排序。每个单词和其频数占一行，单词和频数之间有间隔。 比如，输入两个文件，其一内容如下： ...

环境：win7+cygwin+hadoop-0.20.1伪分布式 输入文件：一个125M的和一个几十K文本文件,运行时有3个map 用eclipse运行wordcount程序，使用以下三种方式设置reduce个数均无效，始终只有一个reduce. ...

一．简介 要在Windows下的 Eclipse上调试Hadoop2代码，所以我们在windows下的Eclipse配置hadoop-eclipse-plugin- 2.6.0.jar插件，并在运行Hadoop的WordCount代码时出现了一系列的问题，搞了好几天终于能运行起代码。接下 ...

Docker搭建开发环境 基本说明 两个月前的时候自己提出想通过Docker来搭建开发环境（http://blog.csdn.net/zhaodedong/article/details/46549279），能方便地供实验室的其他同学使用。我所谓的开发环境没太复杂，只是能在一个 ...