1、分库分表 很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分 库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法 是将其散列到100个表中,分别从members0 ...
简介:一个基于 Golang 编写的日志收集和清洗的应用需要支持一些基于 JVM 的算子。 作者 响风 来源 阿里技术公众号 一 背景 一个基于 Golang 编写的日志收集和清洗的应用需要支持一些基于 JVM 的算子。 算子依赖了一些库: Groovy aviatorscript 该应用有如下特征: 处理数据量大 每分钟处理几百万行日志,日志流速几十 MB S 每行日志可能需要执行多个计算任务 ...
2021-08-24 15:48 0 254 推荐指数:
1、分库分表 很明显,一个主表(也就是很重要的表,例如用户表)无限制的增长势必严重影响性能,分 库与分表是一个很不错的解决途径,也就是性能优化途径,现在的案例是我们有一个1000多万条记录的用户表members,查询起来非常之慢,同事的做法 是将其散列到100个表中,分别从members0 ...
简介: Spark SQL 作为 Spark 用来处理结构化数据的一个基本模块,已经成为多数企业构建大数据应用的重要选择。但是,在大规模连接(Join)、聚合(Aggregate)等工作负载下,Spark 性能会面临稳定性和性能方面的挑战。 Spark SQL 作为 Spark 用来处理结构化 ...
一、SQL性能下降的原因 查询语句问题,各种连接、子查询 索引失效(单值索引、复合索引) 服务器调优及各个参数设置(缓冲、线程池等) 二、索引 排好序的快速查找数据结构 1. 索引分类 单值索引 一个索引只包含单个列,一个表可以有多个 复合索引 一个索引包含多个 ...
golang 性能优化分析工具 pprof (上) golang 性能优化分析工具 pprof (下) 一、golang 程序性能调优 在 golang 程序中,有哪些内容需要调试优化? 一般常规内容: cpu:程序对cpu的使用情况 - 使用时长,占比等 内存 ...
1 内存优化 1.1 小对象合并成结构体一次分配,减少内存分配次数 做过C/C++的同学可能知道,小对象在堆上频繁地申请释放,会造成内存碎片(有的叫空洞),导致分配大的对象时无法申请到连续的内存空间,一般建议是采用内存池。Go runtime底层也采用内存池,但每个span大小为4k,同时维护 ...
编者按:经过2014年一年的酝酿,2015微信红包总量创下历史新高,峰值1400万次/秒,8.1亿次每分钟,微信红包收发达10.1亿次,系统整体运行平稳, 在这里我分享下微信红包背后的技术。 讲师:jeri 核心功能&目标 ...
前面 2 篇 golang 性能优化分析系列文章: golang 性能优化分析工具 pprof (上) golang 性能优化分析工具 pprof (下) 一、基准测试 benchmark 简介 在 golang 中,可以通过 benchmark 基准测试来测试代码性能 ...
nginx的优化 1、基本安全优化 1.1 隐藏版本信息 一般来说,软件的漏洞都和版本相关,所以我们要隐藏或消除web服务对访问用户显示的各种敏感信息 ...