記一次大數據量后台服務的性能優化
背景 最近被分配到的一個需求，數據量每周新增上千萬，預計兩個月就會破億，這里記錄一下對這個服務的性能優化的過程。 正文 需求介紹 首先大致介紹一下這個需求的內容。這個需求是一個周報服務，每周日向用戶推送他本周使用服務的時常，最晚使用時間等統計數據，這應該是很多應用都有實現的功能 ...
原文：一次大量數據更新的性能優化調研
問題 工作中需要同步一些數據，大概接近百萬條的量級，更新時間非常慢，需要 個多小時，更新的頻率是每周一次。隨着數據量的一步步增加，時間也越來越多，逐漸成為一個風險因子，於是想到要嘗試做一些優化，降低同步時間。 分析 經過調查，需要同步的是TABLE A，同步的過程可以簡化表述為兩步： Call API B to get updated value. Update records in DB. 首先 ...
2019-04-16 19:32 0 1451 推薦指數：
相關推薦
記一次大量 TCP 連接失敗
背景 在一段沒有日志的歷史遺留代碼上面加入監控部署后不久，就收到了服務調用成功率低的告警，真是嘩了狗了 解決過程 client端在線上單機部署，根據監控上面的返回碼比例看出失敗原因都是鏈接失 ...
記錄一次大量CLOSE_WAIT的情況
近期的項目中，有一個特殊的需求，對於每個客戶端程序有若干個機構，對於每個機構有不同的客戶端證書，程序間隔一段時間向服務端進行請求，根據請求的成功與否更新各機構的狀態（如正常，證書未配置，證書過期等）。 實際投入測試環境進行使用的時候，運行了一段時間之后，客戶端程序出現了大量 ...
一次大數據量導出優化--借助xml導出xls、xlsx文件
最近遇到一個問題，線上生產環境某個功能導出數據到excel文件非常緩慢，幾萬數據導十多分鍾都導不出來，導出慢的原因一是主表A數據量太大，接近2億，另外里面部分數據來自於另外一張表B，B表也是幾千萬的數據量，數據庫層面能做的優化已經做了，視圖、索引這些工具都上了（沒有分表是一開始項目設計階段就沒考慮 ...
詳述一次大量刪除導致MySQL慢查的過程
墨墨導讀：本文記錄一次大量刪除導致MySQL慢查的分析，大家有沒有遇到過這種問題？ 今晚20:30-21:30，相約雲和恩墨大講堂，從cost=0異常分析看Oracle統計信息的奧秘，詳情及報名請戳： 從cost=0異常分析看Oracle統計信息的奧秘 一、背景 監控 ...
一次EF批量插入多表數據的性能優化經歷
距離上次的博客已經有15個多月了，感慨有些事情還是需要堅持，一旦停下來很有可能就會停很久或者從此再也不會堅持。但我個人一直還堅持認為屬於技術狂熱份子，且喜歡精益求精的那種。最近遇到兩個和數據遷移相關的項目，均遇到需要性能優化的問題，這里拿第二個項目的一個小優化過程與大家分享，技術並不 ...
一次oracle大量數據刪除經歷
oracle有個數據表現在已經有2500萬條數據了，軟件用到這個表的數據時就變的特別慢，所以准備把一個月以前的數據全部清除。 我的步驟是(下邊操作都是在plsql中運行的) 1、首先 將這個月的數據導出到一個臨時表中(這些數據是自己希望保留的) create ...
【vue】渲染大量數據時性能優化
對應vue渲染大量數據時可以考慮下面幾點： 1. 異步渲染組件：因為組件渲染太多，影響頁面的渲染時間，所有可以延遲組件渲染，可以考慮v-if處理 2. 可以使用虛擬滾動的組件：參考使用這個插件 vue-virtual-scroller 地址：https://github.com ...