实现数据去重有两种方式 ：distinct 和 group by 1.distinct消除重复行 distinct支持单列、多列的去重方式。 单列去重的方式简明易懂，即相同值只保留1个。 多列的去重则是根据指定的去重的列信息来进行，即只有所有指定的列信息都相同，才会被认为是重复的信息 ...

问题：发现存在一张表中存在相同的两行数据 得到：仅仅保留一行数据 方法： 原理-我们通过 ...

在数据开发中，我们不难遇到重复数据的问题，搞过这类数据开发的同志肯定觉得，重复数据是真的烦人，特别是当数据量十分大的时候，如果我们用空间复杂度去换时间复杂度，会十分耗内容，稍不注意，就会内存溢出，那么针对如此庞大的数据量我们一般能怎么解决呢？下面分享几个方案： 方案一、根据一定规则分层去重 ...

故障排查 背景调查：最近几天zabbix告警信息总是报Zabbix agent on xxxxxxxxx is unreachable for 5 minutes 错误，开始没有留意，通过两天 ...

数据平台中有使用 Redis 来给线上提供低延时（20毫秒以内）的高并发读写请求，其中最大的Redis使用了阿里云的Redis集群（256G），存储的记录超过10亿，Key的有效期设置为15天，每天写入的记录大概5000万左右，QPS大概在6万左右。由于过期Key的产生速度大于Redis自动清理 ...

Kafka将数据持久化到了硬盘上，允许你配置一定的策略对数据清理，清理的策略有两个，删除和压缩。 数据清理的方式 删除 log.cleanup.policy=delete启用删除策略直接删除，删除后的消息不可恢复。可配置以下两个策略：清理超过指定时间清理 ...

目前客户存在OGG使用,经常遇到空间使用率过高告警,本篇博客汇总空间问题处理。 整理解决方法： 1.Ogg trail文件占用过高,存在进程使用； 2.Ogg trail文件占用过高,进程被 ...

#启动mongo命令/data/liudi/mongodb/bin/mongo --port 27010 #显示数据库show dbs; #使用tps_live数据库use tps_live; #显示对象show tables; #删除liveVo对象集中的数据 ...