前言 由于项目数据安全的需要，这段时间看了下hadoop的distcp的命令使用，不断的纠结的问度娘，度娘告诉我的结果也让我很纠结，都是抄来抄去， 还好在牺牲大量的时间的基础上还终于搞出来了，顺便写这个随笔，记录下。 环境 目前我们是两套同版本的CDH集群，集群内的节点通信使用的私网，提供浮动ip对外通信，也就是说，两个集群间的私网是不互通的，只能通过浮动ip 进行通信。 操作 使用hadoop提 ...
2016-07-16 11:17 1 2912 推荐指数：
需求：由于我们用的阿里云Hbase，按存储收费，现在需要把kafka的数据直接同步到自己搭建的hadoop集群上，(kafka和hadoop集群在同一个局域网)，然后对接到hive表中去，表按每天做分区 一、首先查看kafka最小偏移量（offset） 显示三个partition ...
#---1.修改每个用户的hosts vi /etc/hosts #127.0.0.1 localhost localhost.localdomain localhost4 localhost4 ...
1.查找命令 bin/hadoop 2.启动两个HDFS集群 hadoop0，hadoop1，都是伪分布式的集群 3.启动hadoop3的zookeeper与hbase 注意点：需要开启yarn服务，因为distcp需要yarn。 3. ...
1、背景 部门有个需求，在网络互通的情况下，把现有的hadoop集群（未做Kerberos认证，集群名为：bd-stg-hadoop）的一些hdfs文件拷贝到新的hadoop集群（做了Kerberos认证，集群名为zp-tt-hadoop） 如果是两个都没有做安全认证的集群互传文件，使用 ...
本文非原创，转载于小米运维的HBase复制详解一文。 复制，指的是持续的将同一份数据拷贝到多个地方进行存储，是各种存储系统中常见而又重要的一个概念，可以指数据库中主库和从库的复制，也可以指分布式集群中多个集群之间的复制，还可以指分布式系统中多个副本之间的复制。它的难点在于数据通常是不断变化 ...
某客户大数据测试场景为：Solr类似画像的数据查出用户标签——通过这些标签在HBase查询详细信息。以上测试功能以及性能。 其中HBase的数据量为500G，Solr约5T。数据均需要从对方的集群人工迁移到我们自己搭建的集群。由于Solr没有在我们集群中集成，优先开始做HBase的数据迁移，以下 ...
标签——通过这些标签在HBase查询详细信息。以上测试功能以及性能。其中HBase的数据量为500G，S ...
