https://www.jianshu.com/p/0339c6fe8b61 https://blog.csdn.net/weixin_43221845/article/details/848713 ...

问题： 注意到自己负责kafka的某个topic最小的偏移量为0，而最大的偏移量都7亿多了，说明存储在kafka里面的数据没有定时删除，通过登陆到kafka服务器，查看配置文件services.properties，发现log.retention.hours=876000（100年），我猜想配置 ...

问题：在Jmeter图形界面运行脚本，运行到中途软件突然卡死；命令行运行脚本做性能测试，生成了大量数据，在图形界面中读取数据的时候卡死。 因此怀疑前一个图形界面卡死的原因也是因为数据量过大。 解决方法： - 用记事本（或者其他文本编辑器）编辑jmeter路径下的bin ...

接手了同事的项目，其中有一个功能是保存邮件模板（包含图片），同事之前的做法是把图片进行base64编码然后存在mysql数据库中（字段类型为mediumtext）然后保存三张图片（大概400k）的时候报错MySQL server has gone away 然后查看官方文档https ...

1.场景：有大数据的数据需要放到首页统计，一般就是聚合、分组之类的，按照年月日进行查询和统计。如果数据量比较少，几十万数据 没什么问题。但是随着数据量的增多，查询速度越来越慢。这个时候就需要去优化了~ 刚开始自己的想法是这样的：使用多线程的方式，因为查询每天的数据量很少，那么是不是可以使用 ...

由于单表量太大，导致性能问题 待处理记录 每次处理100W条 ...

　　今天发布了新小组的第一个任务，这个任务是统计销售一段时间的数据，统计完成后再序列化存入到数据库一个text字段。当统计线上全部的销售时，因为线上有离职销售，所以统计出来的数据量就超过了text字段长度（65535），导致数据没有存放下。 　　后来和组长讨论了下，打算将离职销售全部归为一类展示 ...

纵向切分表 将一个表按照字段切分成两个或者多个表，将常用的字段切分到一张表中，分布式存储 横向切分 有两种方式，一是按照特定的数据量，将表切分成不同的表（表结构一致）来存储，新数据插入到新表中，新表的数据量达到约定拆分的数据量时，再建立新表存储；二是按照某种特定的规则来切分表，然后分布式存储 ...