一次數據庫優化的對話
那天夜里的時候，我去十三哥屋里找他，他正在敲代碼。平時我找他， 都是談技術，畢竟都是程序員，除了這一點，其它的共同愛好，我們也沒有。 不過這一次，不是談技術。房子要到期了，我是要問他，是繼續合租，還是各尋它途。 他說要去北方，他女朋友在北方。這點我理解，我要去東南，我女朋友在東南 ...
原文：調試與優化：一次數據中心看板 T+1 改 T+0 優化過程
背景 團隊目前在做一個用戶數據看板 下面簡稱看板 ，基本覆蓋用戶的所有行為數據，並生成分析數據，用戶行為數據來源於多個數據源 餐飲 生活日用 充值消費 交通出行 通訊物流 交通出行 醫療保健 住房物業 運動健康... ，基於對大量數據的任意請求 排序和統計，沒有辦法對原生表 原生多表查詢相對復雜 直接進行數據采用，所以我們在當日的凌晨獲取前一天數據，並將數據做成Json對象保存在Mongo數據庫中 ...
2020-10-18 12:09 0 622 推薦指數：
相關推薦
記一次exists語句優化過程
我們經常會遇到帶有exists這種形式的語句，官方描述如下，一般對應於子查詢語句返回的布爾值： 在例子中可以看到： 原始sq ...
記一次數據庫查詢超時優化問題
問題發現 在七月份時，經常發現有幾個定時任務報錯，查看了下異常原因，大概定位是數據庫執行異常 查找原因 1 和 DBA 排查 mycat（公司使用 mycat ） 和 mysql 的錯誤日志。發現是應用服務這邊會給 MyCat 發送一個 KILL QUERY 命令 ...
記一次Sql優化過程
這幾天在寫一個存儲過程，反復優化了幾次，從最開始的7分鍾左右，優化到最后的幾秒，並且這個過程中我的導師幫我指點了很多問題，這些指點都是非常寶貴的，獨樂樂不如眾樂樂，一起來分享這次的優化過程吧。 這個存過程的需求是這樣的，抓取某個時間段內的訂單明細，然后計算並匯總到某表即可。 於是乎，我寫出 ...
關於大數據T+1執行流程
關於大數據T+1執行流程 前提： 搭建好大數據環境（hadoop hive hbase sqoop zookeeper oozie hue） 1.將所有數據庫的數據匯總到hive (這里有三種數據源 ORACLE MYSQL SEQSERVER) 全量數據抽取示例： ORACLE ...
閱讀AuTO利用深度強化學習自動優化數據中心流量工程(一)
Sigcomm'18 AuTO: Scaling Deep Reinforcement Learning for Datacenter-Scale Automatic Traffic Optimiz ...
記一次Mysql占用內存過高的優化過程
一.環境說明： 操作系統：CentOS 6.5 x86_64 數據庫：Mysql 5.6.22 服務器：阿里雲VPS，32G Mem，0 swap 二.問題情況： 1.某日發現公司線上系統的Mysql某個實例的從庫長時間內存占用達到60%如下圖 2.於是開始按照以下 ...
一次完整的HTTP接口請求過程及針對優化
客戶端發起http請求，基本的經歷過程如下： 域名解析 -> TCP三次握手 -> 建立TCP連接后發起HTTP請求 -> Nginx反向代理 -> 應用層 -> 服務層 -> 緩存/數據庫 一、域名解析 首先Chrome瀏覽器會解析 ...