kafka存儲數據量過大，導致磁盤爆滿
問題： 注意到自己負責kafka的某個topic最小的偏移量為0，而最大的偏移量都7億多了，說明存儲在kafka里面的數據沒有定時刪除，通過登陸到kafka服務器，查看配置文件services.properties，發現log.retention.hours=876000（100年），我猜想配置 ...
原文：數據量過大，導致數據庫text存不下
今天發布了新小組的第一個任務，這個任務是統計銷售一段時間的數據，統計完成后再序列化存入到數據庫一個text字段。當統計線上全部的銷售時，因為線上有離職銷售，所以統計出來的數據量就超過了text字段長度 ，導致數據沒有存放下。 后來和組長討論了下，打算將離職銷售全部歸為一類展示，那樣銷售數據量就不會太大超過text長度。但是發布線上后發現數據量還是太大了，因此再改代碼，使用落地文件，將統計數據存入 ...
2020-01-07 22:10 0 950 推薦指數：
相關推薦
Jmeter數據量過大導致卡死
問題：在Jmeter圖形界面運行腳本，運行到中途軟件突然卡死；命令行運行腳本做性能測試，生成了大量數據，在圖形界面中讀取數據的時候卡死。 因此懷疑前一個圖形界面卡死的原因也是因為數據量過大。 解決方法： - 用記事本（或者其他文本編輯器）編輯jmeter路徑下的bin ...
數據庫數據量過大處理——分表
記錄一下，個人理解。。。 數據表中數據太多的話，剛開始可以用索引之類的來優化。隨着業務多。。難免性能就下來了。 這時候就需要去思考，怎么處理，就想到了把數據源分開，把一張表分開成幾張表。。 首先如何判斷用不用判斷，以及分表后的后端，綜合考慮之后，直接開干。。 --exec ...
Mysql中使用JDBC流式查詢避免數據量過大導致OOM
一、前言 java 中MySQL JDBC 封裝了流式查詢操作，通過設置幾個參數，就可以避免一次返回數據過大導致 OOM。 二、如何使用 2.1 之前查詢 2.2 現在流式查詢 可知只是prepareStatement時候改變了參數，並且設置 ...
MySQL Insert數據量過大導致報錯 MySQL server has gone away
接手了同事的項目，其中有一個功能是保存郵件模板（包含圖片），同事之前的做法是把圖片進行base64編碼然后存在mysql數據庫中（字段類型為mediumtext）然后保存三張圖片（大概400k）的時候報錯MySQL server has gone away 然后查看官方文檔https ...
MyBatis中使用流式查詢避免數據量過大導致OOM（流式查詢）
https://www.jianshu.com/p/0339c6fe8b61 https://blog.csdn.net/weixin_43221845/article/details/848713 ...
Mysql 單表數據量過大移除數據
由於單表量太大，導致性能問題 待處理記錄 每次處理100W條 ...
poi導出excel數據量過大
問題：使用poi導出excel，數據量過大導致內存溢出 解決思路：1、多sheet導出 2、生成多個excel打包下載 3、生成csv下載 本文使用的是第二個思路,代碼如下： poiUtil工具類 fileUtil工具類 測試方法 ...