作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 Gobblin的前身是linkedin的Camus,好多人也用过,准备用Gobblin的方式来抽取数据,不过由于连接的集群是CDH的,而Gobblin默认支持的是hadoop2.3.0 ...
作者:Syn良子 出处:http: www.cnblogs.com cssdongl 欢迎转载 最近把之前写的Hadoop MapReduce程序又总结了下,发现很多逻辑基本都是大致相同的,于是想到能不能利用ETL工具来进行配置相关逻辑来实现MapReduce代码自动生成并执行,这样可以简化现有以及之后的一部分工作.于是选取了上手容易并对Hadoop支持的比较成熟的Pentaho Kettle来 ...
2016-10-27 18:41 5 5258 推荐指数:
作者:Syn良子 出处:http://www.cnblogs.com/cssdongl 转载请注明出处 Gobblin的前身是linkedin的Camus,好多人也用过,准备用Gobblin的方式来抽取数据,不过由于连接的集群是CDH的,而Gobblin默认支持的是hadoop2.3.0 ...
https://archive.cloudera.com/cdh5/parcels/5.16.1/ ...
cdh001 ActivityMonitor NN RM DN N ...
今天在使用kettle连接hive的时候出现了下面的报错 Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver) Illegal Hadoop Version: Unknown ...
向CDH5集群中添加新的主机节点 步骤一:首先得在新的主机环境中安装JDK,关闭防火墙、修改selinux、NTP时钟与主机同步、修改hosts、与主机配置ssh免密码登录、保证安装好了perl和python. 步骤二:上传 ...
本文参考自:《Ubuntu16.04上搭建CDH5.14集群》 1.准备三台(CDH默认配置为三台)安装Ubuntu 16.04.4 LTS系统的服务器,假设ip地址分布为 192.168.100.19 192.168.100.20 192.168.100.21 (如果是虚拟机 ...
一、前言 本次采用的在线安装方式,cdh为6.3.2版本,系统为centos7.4, docker节点可以为任意多个,下文将以3个docker容器为示例进行展示。此方法也可用在docker swarm上,docker容器能够互连,网络互通即可。 二、基础系统镜像制作 说明:此步在安装 ...
如果是全新安装集群的话,可以参考《Ubuntu 16.04上搭建CDH5.16.1集群》 下面是集群新增节点步骤: 1.已经存在一个集群,有两个节点 192.168.100.19 hadoop-master 192.168.100.20 hadoop-slave1 新增节点ip ...