原文:shell脚本删除hbase里面的数据(按照rowkey批量删除hbase的数据)

最近在做将kafka里面的业务日志写入到hbase 当中,然后要对hbase 里面的数据进行解析然后插入到数据库当中。 为了能节约磁盘空间想对hbase里面的数据进行删除,但是我们设置的rowkey是按照每小时 加日期 然后加hash码的方式组成的。例子如下: 这个地方我们没有办法通过框定一个时间范围对这个rowkey 进行删除。所以我想了一个办法。 我们可以从外面传入 个参数 一个是起始日期 , ...

2020-04-22 15:59 0 2529 推荐指数:

查看详情

Hbase批量删除数据

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import ...

Mon Aug 22 23:49:00 CST 2016 0 8065
Hbase如何批量删除指定数据

有时我们需要批量删除一些hbase中符合某些条件的数据,本文提供一种简单的shell命令的方式批量删除hbase里的数据。思路就是,建立hive与hbase的关联表,通过hive sql查询出符合条件的数据rowkey导出到本地文件,然后通过hbase shell批量删除。示例如下: 1 创建 ...

Mon Jul 15 22:26:00 CST 2019 0 1979
hbase删除某个列的数据

  碰到这样一个事:我们往hbase里面数据, 补了快一年的数据了,结果发现某个列的数据有几个月是有问题的,不能用,所以需要将这个列的有问题的几个月数据全部干掉, 查了hbase的命令,发现没有这种根据rowkey范围直接删除某个列的命令. 所以只能自己写了: 可以采用客户端编程的方式 ...

Mon Nov 05 00:48:00 CST 2018 1 2680
HBase管理与监控——彻底删除HBase数据

1、hadoop的bin目录下,执行命令以下命令清除Hbase数据 2、连接ZK,执行以下命令清除Hbase数据 3、重启ZK、重启hadoop(hdfs、yarn)、重启hbase ...

Sun Oct 27 21:46:00 CST 2019 0 967
【大数据Hbase如何批量删除指定数据

一、起因:   Hbase是一个列式存储,nosql类型的数据库,类似mongodb。   目前似乎没有提供批量删除的方法,只有一个单行删除的命令:deleteall 'tablename', rowkey 二、删除方法:   方法一:通过写 shell 脚本,从 hbase ...

Sat Dec 29 18:03:00 CST 2018 0 5514
HBase删除数据

hbase官方文档中描述了,hbase删除数据可以总结为下面三种(Java API有很多接口,可以总结下面的几种): 删除一个列的指定版本 删除一个列的所用版本 删除指定列族的所有列 hbase删除数据,并不是马上删掉,只是对数据打一个删除标记,真正删除数据是等到下一次 ...

Mon Aug 06 22:09:00 CST 2018 0 9653
Hbase删除数据

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import ...

Mon Aug 22 23:19:00 CST 2016 0 3831
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM