目的： 前期學習了一些機器學習基本算法，實際企業應用中算法是核心，運行的環境和數據處理的平台是基礎。 手段： 搭建簡易hadoop集群（由於機器限制在自己的筆記本上通過虛擬機搭建） 一、基礎環境介紹 win10 vmware15.0.0 3 ubuntu 虛擬機 ...

准備工作 1.下載hadoop2.5.2.tar.gz 2.下載hadoop-eclipse-plugin-2.5.2.jar插件。如果你的hadoop不是這個版本的，請自己動手編譯插件，教程戳這 3.下載winutils.exe以及hadoop.dll （64位 ...

1.編寫程序代碼如下： Wordcount.scala 2.將程序打包成wordcount.jar 3.編寫wordcount.sh腳本 其中的wordcount.txt是要統計的文本。 4.將wordcount.txt文件上傳到hdfs中對應的目錄，並啟動 ...

有關hadoop及java安裝配置請見：https://www.cnblogs.com/lxc1910/p/11734477.html 1、新建Java project： 選擇合適的jdk，如圖所示： 將工程命名為WordCount。 2、添加WordCount類文件 ...

需求 計算出文件中每個單詞的頻數。要求輸出結果按照單詞的字母順序進行排序。每個單詞和其頻數占一行，單詞和頻數之間有間隔。 比如，輸入兩個文件，其一內容如下： ...

環境：win7+cygwin+hadoop-0.20.1偽分布式 輸入文件：一個125M的和一個幾十K文本文件,運行時有3個map 用eclipse運行wordcount程序，使用以下三種方式設置reduce個數均無效，始終只有一個reduce. ...

一．簡介 要在Windows下的 Eclipse上調試Hadoop2代碼，所以我們在windows下的Eclipse配置hadoop-eclipse-plugin- 2.6.0.jar插件，並在運行Hadoop的WordCount代碼時出現了一系列的問題，搞了好幾天終於能運行起代碼。接下 ...

Docker搭建開發環境 基本說明 兩個月前的時候自己提出想通過Docker來搭建開發環境（http://blog.csdn.net/zhaodedong/article/details/46549279），能方便地供實驗室的其他同學使用。我所謂的開發環境沒太復雜，只是能在一個 ...