原文:shell腳本刪除hbase里面的數據(按照rowkey批量刪除hbase的數據)

最近在做將kafka里面的業務日志寫入到hbase 當中,然后要對hbase 里面的數據進行解析然后插入到數據庫當中。 為了能節約磁盤空間想對hbase里面的數據進行刪除,但是我們設置的rowkey是按照每小時 加日期 然后加hash碼的方式組成的。例子如下: 這個地方我們沒有辦法通過框定一個時間范圍對這個rowkey 進行刪除。所以我想了一個辦法。 我們可以從外面傳入 個參數 一個是起始日期 , ...

2020-04-22 15:59 0 2529 推薦指數:

查看詳情

Hbase批量刪除數據

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import ...

Mon Aug 22 23:49:00 CST 2016 0 8065
Hbase如何批量刪除指定數據

有時我們需要批量刪除一些hbase中符合某些條件的數據,本文提供一種簡單的shell命令的方式批量刪除hbase里的數據。思路就是,建立hive與hbase的關聯表,通過hive sql查詢出符合條件的數據rowkey導出到本地文件,然后通過hbase shell批量刪除。示例如下: 1 創建 ...

Mon Jul 15 22:26:00 CST 2019 0 1979
hbase刪除某個列的數據

  碰到這樣一個事:我們往hbase里面數據, 補了快一年的數據了,結果發現某個列的數據有幾個月是有問題的,不能用,所以需要將這個列的有問題的幾個月數據全部干掉, 查了hbase的命令,發現沒有這種根據rowkey范圍直接刪除某個列的命令. 所以只能自己寫了: 可以采用客戶端編程的方式 ...

Mon Nov 05 00:48:00 CST 2018 1 2680
HBase管理與監控——徹底刪除HBase數據

1、hadoop的bin目錄下,執行命令以下命令清除Hbase數據 2、連接ZK,執行以下命令清除Hbase數據 3、重啟ZK、重啟hadoop(hdfs、yarn)、重啟hbase ...

Sun Oct 27 21:46:00 CST 2019 0 967
【大數據Hbase如何批量刪除指定數據

一、起因:   Hbase是一個列式存儲,nosql類型的數據庫,類似mongodb。   目前似乎沒有提供批量刪除的方法,只有一個單行刪除的命令:deleteall 'tablename', rowkey 二、刪除方法:   方法一:通過寫 shell 腳本,從 hbase ...

Sat Dec 29 18:03:00 CST 2018 0 5514
HBase刪除數據

hbase官方文檔中描述了,hbase刪除數據可以總結為下面三種(Java API有很多接口,可以總結下面的幾種): 刪除一個列的指定版本 刪除一個列的所用版本 刪除指定列族的所有列 hbase刪除數據,並不是馬上刪掉,只是對數據打一個刪除標記,真正刪除數據是等到下一次 ...

Mon Aug 06 22:09:00 CST 2018 0 9653
Hbase刪除數據

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.TableName; import ...

Mon Aug 22 23:19:00 CST 2016 0 3831
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM