一次由于fastjson引用包冲突引发的故障分析
1，现象，从页面访问某个url的时候，从后端的catalina.out里面没有找到相应的错误，页面只是显示500错误 2，在开发者模式中，看response里面的返回，返回如下 HTTP Stat ...
原文：【JVM】记录一次线上SWAP偏高告警的故障分析过程
近期遇到一个堆外内存导致swap飙高的问题，这类问题比较罕见，因此将整个排查过程记录下来了 现象描述 最近 周线上服务器时不时出现swap报警 swap超过内存 时触发报警，内存是 G，因此swap超过 M会触发报警 ，每次都是童鞋们通过重启tomcat解决的 但导致的根本原因是什么呢 必须找到根本原因才行，总是这么重启就有点low了 问题排查 于是找了 台占用了swap但还未触发报警的服务器进行 ...
2019-05-15 14:20 0 725 推荐指数：
相关推荐
记一次NAS故障分析（ZFS NFS）
问题： 使用vdbench进行单层100w目录，每个目录30个文件，共3000w文件读写时，在创建文件得时候IO会出现断断续续得情况。 分析过程： 1、 nfs抓包分析 使用vdbench创建一个文件得流程eg: vdb_f0398.file ...
通过jstack与jmap分析一次线上故障
一、发现问题 下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。 二、排查思路 简单分析下可能出问题的地方，分为5个方向： 1.系统本身代码问题 2.内部下游系统的问题导致的雪崩 ...
通过jstack与jmap分析一次线上故障
一、发现问题 下面是线上机器的cpu使用率，可以看到从4月8日开始，随着时间cpu使用率在逐步增高，最终使用率达到100%导致线上服务不可用，后面重启了机器后恢复。 二、排查思路 简单分析下可能出问题的地方，分为5个方向： 1.系统本身代码问题 2.内部下游系统的问题导致的雪崩 ...
记录一次线上yarn RM频繁切换的故障
周末一大早被报警惊醒，rm频繁切换 急急忙忙排查 看到两处错误日志 错误信息1 错误信息2 查看源码处FairScheduler 跟进去看下 ...
JVM垃圾回收与一次线上内存泄露问题分析和解决过程
以下文章来源于花椒技术 ，作者花椒服务端 前言 内存泄漏（Memory Leak）是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放，造成系统 ...
记录一次因subprocess PIPE 引起的线上故障
sence：python中使用subprocess.Popen(cmd, stdout=sys.STDOUT, stderr=sys.STDERR, shell=True) ，stdout, s ...
记录一次zabbix邮件告警搭建过程和问题处理
（不是一天写成blog，有截图上的时间差） 流程： 1.配置zabbix-server服务端mailx，并在zabbix-server.conf配置文件的脚本路径中添加邮件脚本； 2.配置web界面选项的动作，报警媒介类型， 3.在用户中添加告警媒介，设置类型，收件人等选项 ...