为了更好地分享我们解决“黑色1秒”问题的过程,在这篇博文中我们将专门描述一下“黑色1秒”问题的表现。 “黑色1秒”是我们使用阿里云以来继“黑色10秒”之后遭遇的最奇特、最诡异、最难以捉摸、最富有戏剧性的问题。 它有2个最显著的特征: 第一个是最直观的表现,在Windows性能监视 ...
更新:抱歉 黑色 秒 后来又出现了,详见:云计算之路 阿里云上 幸福没那么容易: 黑色 秒 又出现了 前几天发生了 件神奇的事情:一是 位园友在阿里云上遇到了和我们一模一样的 黑色 秒 问题 二是阿里云推出了IO优化的基于KVM架构的服务器,据说理论上可以解决 黑色 秒 问题。很巧的是,这 件事情竟然开始于同一天。 黑色 秒 问题是我们在阿里云上遇到的最神妙莫测,也是折磨我们时间最长的一个问题。 ...
2015-06-12 16:18 19 3974 推荐指数:
为了更好地分享我们解决“黑色1秒”问题的过程,在这篇博文中我们将专门描述一下“黑色1秒”问题的表现。 “黑色1秒”是我们使用阿里云以来继“黑色10秒”之后遭遇的最奇特、最诡异、最难以捉摸、最富有戏剧性的问题。 它有2个最显著的特征: 第一个是最直观的表现,在Windows性能监视 ...
在云上,底层的东西你无法触及,遇到奇怪问题时只能靠猜想,所以使用云计算会锻炼你的想像力。 (上图中蓝色是ASP.NET的Requests Queued,另外一个是HTTP.SYS的Arrival Rate) 昨天我们发现了一个重要的线索——“黑色30秒”到来时,最初的表现是请求出现排队 ...
“幸福没有那么容易,才会特别让人着迷”,这是黄小琥的《没那么简单》中的一句歌词。 这句歌词或许最能表达我们此刻的心情——在我们宣布“黑色1秒”问题已解决的第二天,“黑色1秒”竟然再次出现! 昨天早上8点左右起床后,睡眼惺忪地查看服务器的实时监控,打算欣赏一下“黑色1秒”被消灭后那漂亮 ...
“黑色1秒”问题经过一个多月的艰苦奋战,今天终于取得了重要进展!我们终于有了足够的数据证明不是微软IIS的问题,就是阿里云Xen虚拟机的问题。 这篇博文分享的是我们如何进行证明的,而且这次证明连Window性能监视器都不需要。 下面我们来分析一下今天10:37:35出现的“黑色1秒”(下面所用 ...
今天下午访问高峰的时候,主站的Web服务器出现奇怪的问题,开始是2台8核8G的云服务器(ECS),后来又加了1台8核8G的云服务器,问题依旧。 而且3台服务器特地使用了不同的配置:1台是禁用了虚拟内存的临时磁盘云服务器,1台是启用了虚拟内存的临时磁盘云服务器,1台是禁用了虚拟内存的云盘云服务器 ...
针对Web服务器“黑色30秒”问题(详见云计算之路-阿里云上:Web服务器遭遇奇怪的“黑色30秒”问题),经过分析,我们准备从这个地方下手——为什么会出现\ASP.NET\Request Queued大于0的情况(为什么请求会排队)? 首先, 通过Windows性能监视器去观察,看能不能找到 ...
在昨天针对“黑色30秒”问题的分析中,我们猜测Requests Queued上升是由于正在处理的请求出不去(到达不了客户端)。今天我们结合IIS日志验证这个猜测。 IIS日志中有一个重要的指标——time-taken,time-taken不仅包含了请求在服务端执行的时间,还包含了响应的内容 ...
今天下午15:11-15:13间出现了类似“黑色30秒”的状况,我们用强大的IIS日志分析工具——Log Parser Studio进行了进一步的分析。 分析情况如下—— 先看一下Windows性能监视器中的问题表现: 然后用Log Parser Studio分析07:11:55与07 ...