记录一下，个人理解。。。 数据表中数据太多的话，刚开始可以用索引之类的来优化。随着业务多。。难免性能就下来了。 这时候就需要去思考，怎么处理，就想到了把数据源分开，把一张表分开成几张表。。 首先如何判断用不用判断，以及分表后的后端，综合考虑之后，直接开干。。 --exec ...

问题：使用poi导出excel，数据量过大导致内存溢出 解决思路：1、多sheet导出 　　　　　2、生成多个excel打包下载 　　　　　3、生成csv下载 本文使用的是第二个思路,代码如下： poiUtil工具类 fileUtil工具类 测试方法 ...

在处理中，如果不是一直刷新后报错下载不了，数据量小200条都可以导出，但到2000 导出不了，而且立马报错，可能是引入但phpExcel版本低但问题！ 不一定都是php-fpm nginx 底层配置的问题，也可能是代码的问题！ ...

改正并经过自测验证后通过，主要的配置如下： 　　服务端返回数据量过大的错误时，就去修改服务端的配置： ...

1.场景：有大数据的数据需要放到首页统计，一般就是聚合、分组之类的，按照年月日进行查询和统计。如果数据量比较少，几十万数据 没什么问题。但是随着数据量的增多，查询速度越来越慢。这个时候就需要去优化了~ 刚开始自己的想法是这样的：使用多线程的方式，因为查询每天的数据量很少，那么是不是可以使 ...

纵向切分表 将一个表按照字段切分成两个或者多个表，将常用的字段切分到一张表中，分布式存储 横向切分 有两种方式，一是按照特定的数据量，将表切分成不同的表（表结构一致）来存储，新数据插入到新表中，新表的数据量达到约定拆分的数据量时，再建立新表存储；二是按照某种特定的规则来切分表，然后分布式存储 ...

问题： 注意到自己负责kafka的某个topic最小的偏移量为0，而最大的偏移量都7亿多了，说明存储在kafka里面的数据没有定时删除，通过登陆到kafka服务器，查看配置文件services.properties，发现log.retention.hours=876000（100年），我猜想配置 ...

今天使用PHPExce插件导不出数据，发现是数据量过大的原因，这里只做简单的处理。 1、导出超时处理：在执行页面添加：set_time_limit(0); 2、内存溢出：在执行页面添加：ini_set("memory_limit", "1024M"); 简单来说就是在执行页面添加了以下两行 ...