!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6 ...
用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构。 整体环境: 主机Win i 核 G内存 笔记本 虚拟机 客户机 采用Centos . 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE 台互联的虚拟机搭建H ...
2013-10-08 22:16 0 3757 推荐指数:
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6 ...
用三台虚拟机搭建Hadoop全分布集群 所有的软件都装在/home/software下 虚拟机系统:centos6.5 jdk版本:1.8.0_181 zookeeper版本:3.4.7 hadoop版本:2.7.1 1.安装jdk 准备好免安装压缩包放在/home ...
===============================VirtualBox常用网络===============================NetworkAddress Translation(NAT)NAT 是VirtualBox建立的虚拟机默认的形式. 虚拟机之间无法沟通, 虚拟机 ...
虚拟机名称 机器名 IP 作用 namenode master 192.168.50.131 Namenode、master、jobtracker datanode01 ...
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6 ...
!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2、Ubuntu14.04、securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0、hadoop2.6.5、zookeeper3.4.5、Scala2.12.6 ...
一. mini安装一台centos到虚拟机上 安装过程参考这篇博客http://www.linuxdown.net/install/setup/2015/0906/4053.html 二. 修改网络配置文件 看百度网址是否能ping通,如果可以,使用命令ifconfig查询当前的ip ...
现在做的项目是个大数据报表系统,刚开始的时候,负责做Java方面的接口(项目前端为独立的Java web 系统,后端也是Java web的系统,前后端系统通过接口传输数据),后来领导觉得大家需要多 ...