上周晚上,某环境 ES 出现阻塞, 运行缓慢。于是开始排查问题的过程。 开始 思路:现象是阻塞,通常是 CPU 彪高,导致业务线程分配不到 CPU 时间片,或者内存吃紧,频繁 GC 导致的 STW。 登录到目标服务器,由于 ES 的用户不是 LZ,因此找运维要了 root 权限,登录到服务器 ...
背景 近期被抓壮丁解决一个几年前的系统故障,经过反复排查多次监控后终于成功解决,记录分享一下心得吧 故障描述 具体表现为在高峰访问期间,IIS直接报服务器处理 。 系统部署 采用ARR实现的IIS Sever Farm进行负载均衡,将全省内部portal请求负载到两台web服务器。 三板斧之一:对症下药 既然已有错误信息:The serverRuntime appConcurrentReques ...
2017-02-20 20:11 0 4501 推荐指数:
上周晚上,某环境 ES 出现阻塞, 运行缓慢。于是开始排查问题的过程。 开始 思路:现象是阻塞,通常是 CPU 彪高,导致业务线程分配不到 CPU 时间片,或者内存吃紧,频繁 GC 导致的 STW。 登录到目标服务器,由于 ES 的用户不是 LZ,因此找运维要了 root 权限,登录到服务器 ...
解Bug之路-记一次存储故障的排查过程 高可用真是一丝细节都不得马虎。平时跑的好好的系统,在相应硬件出现故障时就会引发出潜在的Bug。偏偏这些故障在应用层的表现稀奇古怪,很难让人联想到是硬件出了问题,特别是偶发性出现的问题更难排查。今天,笔者就给大家带来一个存储偶发性故障的排查过程。 Bug ...
目录 一、问题详情 top 命令截图 联系腾讯云排查 检查系统日志发现异常 二、 问题解析 三、问题原因 最终结论 四、扩展 进程的几种状态 马后炮 ...
公司报表分析系统已经运行了一年多,最近收到服务器内存警告信息内存耗尽,第一时间着手排查问题,记录下排查内存耗尽问题整个过程使用到的命令。 第一步查看内存使用情况: free -m 命令:已M单位显示服务器实际内存使用情况,如图: 第1行mem数据:total内存总数 ...
不知道为什么,窗外出现了乌云,又不知道为什么,烦人的蝉鸣突然变得无声了,大脑中的嘈杂瞬间归位了宁静,草他么,我的测试服务器又特么无缘无故的崩了。 作为菜鸟为了排查故障,最先想到的就是找日志,先后分析了项目启动日志,resin启动日志,jvm日志完全看不出来结果。 1.jvm日志 ...
最近接连听说一台线上服务器总是不响应客户端请求。 登录服务器后查询iis状态,发现应用程序池状态变为已停止。 按经验想,重启后应该就ok,第一次遇到也确实起了作用,当时完全没在意,以为是其他人无意把服务关闭了而已。 但是之后几天几乎每天都出现问题,应用程序池再次成为 已停止 状态。这个情况 ...
: 登录Mysql服务器查看日志: 大致一看,更新同一索引的同一行,应该是一个Block,报Ti ...
山竹来临,窝在家里整理个人文档。 本篇文章主要讲解排查问题的思路,涉及linux 删除文件的原理、实例误删数据恢复、MySQL实例初始化参数优先级别等,虽然涉及知识点比较浅,但是个人觉得挺有 ...