一次数据库优化的对话
那天夜里的时候，我去十三哥屋里找他，他正在敲代码。平时我找他， 都是谈技术，毕竟都是程序员，除了这一点，其它的共同爱好，我们也没有。 不过这一次，不是谈技术。房子要到期了，我是要问他，是继续合租，还是各寻它途。 他说要去北方，他女朋友在北方。这点我理解，我要去东南，我女朋友在东南 ...
原文：调试与优化：一次数据中心看板 T+1 改 T+0 优化过程
背景 团队目前在做一个用户数据看板 下面简称看板 ，基本覆盖用户的所有行为数据，并生成分析数据，用户行为数据来源于多个数据源 餐饮 生活日用 充值消费 交通出行 通讯物流 交通出行 医疗保健 住房物业 运动健康... ，基于对大量数据的任意请求 排序和统计，没有办法对原生表 原生多表查询相对复杂 直接进行数据采用，所以我们在当日的凌晨获取前一天数据，并将数据做成Json对象保存在Mongo数据库中 ...
2020-10-18 12:09 0 622 推荐指数：
相关推荐
记一次exists语句优化过程
我们经常会遇到带有exists这种形式的语句，官方描述如下，一般对应于子查询语句返回的布尔值： 在例子中可以看到： 原始sq ...
记一次数据库查询超时优化问题
问题发现 在七月份时，经常发现有几个定时任务报错，查看了下异常原因，大概定位是数据库执行异常 查找原因 1 和 DBA 排查 mycat（公司使用 mycat ） 和 mysql 的错误日志。发现是应用服务这边会给 MyCat 发送一个 KILL QUERY 命令 ...
记一次Sql优化过程
这几天在写一个存储过程，反复优化了几次，从最开始的7分钟左右，优化到最后的几秒，并且这个过程中我的导师帮我指点了很多问题，这些指点都是非常宝贵的，独乐乐不如众乐乐，一起来分享这次的优化过程吧。 这个存过程的需求是这样的，抓取某个时间段内的订单明细，然后计算并汇总到某表即可。 于是乎，我写出 ...
关于大数据T+1执行流程
关于大数据T+1执行流程 前提： 搭建好大数据环境（hadoop hive hbase sqoop zookeeper oozie hue） 1.将所有数据库的数据汇总到hive (这里有三种数据源 ORACLE MYSQL SEQSERVER) 全量数据抽取示例： ORACLE ...
阅读AuTO利用深度强化学习自动优化数据中心流量工程(一)
Sigcomm'18 AuTO: Scaling Deep Reinforcement Learning for Datacenter-Scale Automatic Traffic Optimiz ...
记一次Mysql占用内存过高的优化过程
一.环境说明： 操作系统：CentOS 6.5 x86_64 数据库：Mysql 5.6.22 服务器：阿里云VPS，32G Mem，0 swap 二.问题情况： 1.某日发现公司线上系统的Mysql某个实例的从库长时间内存占用达到60%如下图 2.于是开始按照以下 ...
一次完整的HTTP接口请求过程及针对优化
客户端发起http请求，基本的经历过程如下： 域名解析 -> TCP三次握手 -> 建立TCP连接后发起HTTP请求 -> Nginx反向代理 -> 应用层 -> 服务层 -> 缓存/数据库 一、域名解析 首先Chrome浏览器会解析 ...