一、前言 java 中MySQL JDBC 封装了流式查询操作，通过设置几个参数，就可以避免一次返回数据过大导致 OOM。 二、如何使用 2.1 之前查询 2.2 现在流式查询 可知只是prepareStatement时候改变了参数，并且设置 ...

Mybatis提供了一般查询和流式查询模式，先说一下怎么配置 1、一般查询 2、流式查询 测试场景 mysql中循环插入100,000条数据 IDEA运行时堆内存设置为初始分配堆内存20m，最大堆内存30m。如下 先使用一般查询测试 ...

1.场景：有大数据的数据需要放到首页统计，一般就是聚合、分组之类的，按照年月日进行查询和统计。如果数据量比较少，几十万数据 没什么问题。但是随着数据量的增多，查询速度越来越慢。这个时候就需要去优化了~ 刚开始自己的想法是这样的：使用多线程的方式，因为查询每天的数据量很少，那么是不是可以使用 ...

问题： 注意到自己负责kafka的某个topic最小的偏移量为0，而最大的偏移量都7亿多了，说明存储在kafka里面的数据没有定时删除，通过登陆到kafka服务器，查看配置文件services.properties，发现log.retention.hours=876000（100年），我猜想配置 ...

问题：在Jmeter图形界面运行脚本，运行到中途软件突然卡死；命令行运行脚本做性能测试，生成了大量数据，在图形界面中读取数据的时候卡死。 因此怀疑前一个图形界面卡死的原因也是因为数据量过大。 解决方法： - 用记事本（或者其他文本编辑器）编辑jmeter路径下的bin ...

纵向切分表 将一个表按照字段切分成两个或者多个表，将常用的字段切分到一张表中，分布式存储 横向切分 有两种方式，一是按照特定的数据量，将表切分成不同的表（表结构一致）来存储，新数据插入到新表中，新表的数据量达到约定拆分的数据量时，再建立新表存储；二是按照某种特定的规则来切分表，然后分布式存储 ...

一、前言 程序访问 MySQL 数据库时，当查询出来的数据量特别大时，数据库驱动把加载到的数据全部加载到内存里，就有可能会导致内存溢出（OOM）。 其实在 MySQL 数据库中提供了流式查询，允许把符合条件的数据分批一部分一部分地加载到内存中，可以有效避免OOM；本文主要介绍如何使用流式 ...

　　今天发布了新小组的第一个任务，这个任务是统计销售一段时间的数据，统计完成后再序列化存入到数据库一个text字段。当统计线上全部的销售时，因为线上有离职销售，所以统计出来的数据量就超过了text字段长度（65535），导致数据没有存放下。 　　后来和组长讨论了下，打算将离职销售全部归为一类展示 ...