结合上篇教程,我们成功在Ubuntu16.04上配置了Hadoop3.3.1,在此基础上我们继续完成eclipse安装与MapReduce开发环境配置
资源准备
链接:https://pan.baidu.com/s/1RQwj4CnOcrBGb1MN5jJPVg
提取码:yxh1
包含:
eclipse-jee-2019-03-R-linux-gtk-x86_64.tar.gz
hadoop-eclipse-plugin-3.2.1.jar(因为hadoop为3.3.1版本,需要用3.x以上的插件 P.S. CSDN上是要花钱的)
eclipse安装
打开虚拟机,将上述两个文件解压到“下载”文件夹里
下面需要提醒两点:
- 我的用户名是xiaohan,下面的命令需要使用你自己的用户名,不再提示了
- 如果出现权限不够的问题,则先键入以下命令:
$ sudo su
若前面显示#号,则意味我此时完成了权限提升
下面正式开始:
$ cd /home/xiaohan/下载 $ sudo tar -zxvf eclipse-jee-2019-03-R-linux-gtk-x86_64.tar.gz -C /usr/local
将压缩包解压到/usr/local文件夹内,当然这个可以自己选择,出现了一大堆奇奇怪怪的代码之后,eclipse成功解压到了目标文件夹内:
我们进入eclipse文件夹里,如果直接运行
可能会报错:Java RunTime Environment (JRE) or Java Development Kit (JDK) must be available in order to run Eclipse. No java virtual machine was found after searching the following locations:…
那是因为jdk没有配置好,如果查看java -version,会发现
因此我们按照提示的要求,安装java
# apt install default-jre
安装成功后便可以打开eclipse,为了以后使用方便,我们将他生成桌面图标
# gedit /usr/share/applications/eclipse.desktop
会弹出如图弹窗
按照上图进行配置即可
[Desktop Entry] Encoding=UTF-8 Name=Eclipse Comment=Eclipse IDE Exec=/usr/local/eclipse/eclipse Icon=/usr/local/eclipse/icon.xpm Terminal=false StartupNotify=true Type=Application Categories=Application;Development;
其中Exec与Icon中需要对应你开始将eclipse解压到的文件夹的文件
然后进入/usr/share/applications目录下就可以看到eclipse图标,将其复制到桌面即可
显示桌面,我们会看到:
MapReduce开发环境配置
首先将开始解压得到的hadoop-eclipse-plugin-3.2.1.jar复制到/usr/local/eclipse/plugins
# cd /home/xiaohan/下载 # cp hadoop-eclipse-plugin-3.2.1.jar /usr/local/eclipse/plugins
打开eclipse,选择Window菜单下的 Preference
选择Hadoop Map/Reduce选项,选择hadoop的安装目录,之后“Apply and Close”
点击左上角的小蓝象,进入Map/Reduce界面
在软件下方的Map/Reduce Location区域单击右键,弹出选项,选择New Hadoop Location
按照如图方式填写General选项卡里的内容(Location name 自拟)
再选择Advanced parameters,找到hadoop.tmp.dir
后面的地址修改为/usr/local/hadoop/etc/hadoop中的core-site.xml中的集群设置的地址
此时会发现建立成功
在File菜单里,选择Other,新建Map/Reduce Project