記錄一下，個人理解。。。 數據表中數據太多的話，剛開始可以用索引之類的來優化。隨着業務多。。難免性能就下來了。 這時候就需要去思考，怎么處理，就想到了把數據源分開，把一張表分開成幾張表。。 首先如何判斷用不用判斷，以及分表后的后端，綜合考慮之后，直接開干。。 --exec ...

問題：使用poi導出excel，數據量過大導致內存溢出 解決思路：1、多sheet導出 　　　　　2、生成多個excel打包下載 　　　　　3、生成csv下載 本文使用的是第二個思路,代碼如下： poiUtil工具類 fileUtil工具類 測試方法 ...

在處理中，如果不是一直刷新后報錯下載不了，數據量小200條都可以導出，但到2000 導出不了，而且立馬報錯，可能是引入但phpExcel版本低但問題！ 不一定都是php-fpm nginx 底層配置的問題，也可能是代碼的問題！ ...

改正並經過自測驗證后通過，主要的配置如下： 　　服務端返回數據量過大的錯誤時，就去修改服務端的配置： ...

1.場景：有大數據的數據需要放到首頁統計，一般就是聚合、分組之類的，按照年月日進行查詢和統計。如果數據量比較少，幾十萬數據 沒什么問題。但是隨着數據量的增多，查詢速度越來越慢。這個時候就需要去優化了~ 剛開始自己的想法是這樣的：使用多線程的方式，因為查詢每天的數據量很少，那么是不是可以使 ...

縱向切分表 將一個表按照字段切分成兩個或者多個表，將常用的字段切分到一張表中，分布式存儲 橫向切分 有兩種方式，一是按照特定的數據量，將表切分成不同的表（表結構一致）來存儲，新數據插入到新表中，新表的數據量達到約定拆分的數據量時，再建立新表存儲；二是按照某種特定的規則來切分表，然后分布式存儲 ...

問題： 注意到自己負責kafka的某個topic最小的偏移量為0，而最大的偏移量都7億多了，說明存儲在kafka里面的數據沒有定時刪除，通過登陸到kafka服務器，查看配置文件services.properties，發現log.retention.hours=876000（100年），我猜想配置 ...

今天使用PHPExce插件導不出數據，發現是數據量過大的原因，這里只做簡單的處理。 1、導出超時處理：在執行頁面添加：set_time_limit(0); 2、內存溢出：在執行頁面添加：ini_set("memory_limit", "1024M"); 簡單來說就是在執行頁面添加了以下兩行 ...