kafka存储数据量过大，导致磁盘爆满
问题： 注意到自己负责kafka的某个topic最小的偏移量为0，而最大的偏移量都7亿多了，说明存储在kafka里面的数据没有定时删除，通过登陆到kafka服务器，查看配置文件services.properties，发现log.retention.hours=876000（100年），我猜想配置 ...
原文：数据量过大，导致数据库text存不下
今天发布了新小组的第一个任务，这个任务是统计销售一段时间的数据，统计完成后再序列化存入到数据库一个text字段。当统计线上全部的销售时，因为线上有离职销售，所以统计出来的数据量就超过了text字段长度 ，导致数据没有存放下。 后来和组长讨论了下，打算将离职销售全部归为一类展示，那样销售数据量就不会太大超过text长度。但是发布线上后发现数据量还是太大了，因此再改代码，使用落地文件，将统计数据存入 ...
2020-01-07 22:10 0 950 推荐指数：
相关推荐
Jmeter数据量过大导致卡死
问题：在Jmeter图形界面运行脚本，运行到中途软件突然卡死；命令行运行脚本做性能测试，生成了大量数据，在图形界面中读取数据的时候卡死。 因此怀疑前一个图形界面卡死的原因也是因为数据量过大。 解决方法： - 用记事本（或者其他文本编辑器）编辑jmeter路径下的bin ...
数据库数据量过大处理——分表
记录一下，个人理解。。。 数据表中数据太多的话，刚开始可以用索引之类的来优化。随着业务多。。难免性能就下来了。 这时候就需要去思考，怎么处理，就想到了把数据源分开，把一张表分开成几张表。。 首先如何判断用不用判断，以及分表后的后端，综合考虑之后，直接开干。。 --exec ...
Mysql中使用JDBC流式查询避免数据量过大导致OOM
一、前言 java 中MySQL JDBC 封装了流式查询操作，通过设置几个参数，就可以避免一次返回数据过大导致 OOM。 二、如何使用 2.1 之前查询 2.2 现在流式查询 可知只是prepareStatement时候改变了参数，并且设置 ...
MySQL Insert数据量过大导致报错 MySQL server has gone away
接手了同事的项目，其中有一个功能是保存邮件模板（包含图片），同事之前的做法是把图片进行base64编码然后存在mysql数据库中（字段类型为mediumtext）然后保存三张图片（大概400k）的时候报错MySQL server has gone away 然后查看官方文档https ...
MyBatis中使用流式查询避免数据量过大导致OOM（流式查询）
https://www.jianshu.com/p/0339c6fe8b61 https://blog.csdn.net/weixin_43221845/article/details/848713 ...
Mysql 单表数据量过大移除数据
由于单表量太大，导致性能问题 待处理记录 每次处理100W条 ...
poi导出excel数据量过大
问题：使用poi导出excel，数据量过大导致内存溢出 解决思路：1、多sheet导出 2、生成多个excel打包下载 3、生成csv下载 本文使用的是第二个思路,代码如下： poiUtil工具类 fileUtil工具类 测试方法 ...