原文:记一次Hbase查询速度优化经历

项目背景: 在这次影像系统中,我们利用大数据平台做的是文件 图片 视频等 批次的增删改查,每个批次都包含多个文件,上传完成以后要添加文件索引 文件信息及批次信息 ,由于在Hbase存储的过程中,每个文件都对应一个文件rowKey,一个批次就会有很多个RoweKey,查询的下载的时候就必须根据每个文件的rowkey找到对应的文件,如果一个批次有很多个文件的话,就需要查找很多次,这样是很浪费时间的,一 ...

2018-01-08 14:29 1 12779 推荐指数:

查看详情

一次真实的webpack优化经历

着捣鼓一下,看能不能在此前的基础上做一些优化,顺带记录下来分享给大家。 webpack打包优化 关于w ...

Tue Dec 22 18:14:00 CST 2020 4 1218
一次神奇的sql查询经历,group by慢查询优化(已解决)

一、问题背景 现网出现慢查询,在500万数量级的情况下,单表查询速度在30多秒,需要对sql进行优化,sql如下: 我在测试环境构造了500万条数据,模拟了这个慢查询。 简单来说,就是查询一定条件下,都有哪些用户的。很简单的sql,可以看到,查询耗时为37秒。 说一下 ...

Fri Sep 20 00:52:00 CST 2019 50 8488
一次 spinor flash 读速度优化

背景 某个项目使用的介质是 spinor, 其 bootloader 需要从 flash 中加载 os。 启动速度是一个关键指标,需要深入优化。其他部分的优化暂且略过,此篇主要记录对 nor 读速度优化过程。 了解现状 接到启动速度优化的任务之后, 首先是了解情况。 当前 ...

Mon May 11 05:36:00 CST 2020 2 1965
一次flask web接口速度优化

过慢。 单个接口单访问速度过慢原因列举(这里我们锁定3点): 1.无可避免首先要检查数据库的查询速度 ...

Tue May 19 00:49:00 CST 2020 0 1236
一次cocos项目的加载速度优化

半个月前,我们用cosos creator做了一个简单的小游戏,也许算不上小游戏吧。。一边学cocos,一边做,几经波折后终于上线了。然鹅,功能是实现了,但是加载速度十分感人(毕竟没经验嘛,无辜脸)。1.8M的资源需要10秒钟左右才能全部加载完。于是被老大一有机会就拿出同类产品跟我们的比较 ...

Sun Jul 22 08:20:00 CST 2018 0 3193
一次nor flash固件烧录速度优化

背景 某个方案使用的是spinor作为存储介质,每次烧录新固件都耗时数分钟,为了提高效率,需要对其进行优化。 分析流程 基本流程 当前烧录流程,有一个可选步骤,全盘擦除,这个步骤耗时达数分钟。不过这是可选的。 接下来必经的步骤,就是从PC端接收数据写入flash了。 已有优化 目前 ...

Sun Mar 22 07:42:00 CST 2020 0 1035
一次面试经历

投简历阶段 又到了金三银四的这段日子了,看着大家纷纷投简历找工作,抱着有事儿没事儿凑热闹的想法也参加到了投简历的大队伍中。先自我介绍一下,本人三年.NET loser一枚,现就职于某游戏运营公司,l ...

Wed Apr 22 04:45:00 CST 2015 17 2502
我的一次外包经历

其实外包是很多人在职业生涯中都会遇到的问题,也就是接私活。今天我来说说我遇到过的一次外包经历,我要说的这次外包经历既不是我的第一个外包项目,也不是最后一个,之所以要记下来,是因为这是我目前为止遇到过的最坑的一次,导致我整个2015年都在为这一次外包进行补救。不过,我写这篇文章并不是为了抱怨 ...

Tue Feb 16 06:39:00 CST 2016 65 7460
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM