我们的生产环境部署了 2 个 docker swarm 集群,集群 swarm-a 用于专门跑博客站点,集群 swarm-b 用于跑其他站点,manager 节点用了阿里云包月服务器,worker 节点用了阿里云抢占式实例。 今天 11:03 收到阿里云的短信通知“您的抢占式实例:实例ID(实例 ...
非常抱歉,今天 : : 左右由于 docker swarm 集群节点出现问题,造成除博客之外的站点出现访问异常,由此给您带来很大的麻烦,请您谅解。 故障开始时出现有时访问正常有时访问出现 或 ,当时我们就判断是某个节点出现问题,但无法直接定位出哪个节点,只能依次将一个个节点下线 上线。但是,不走运的是出现问题的节点恰恰是我们最后下线的一个节点。所以,在下线正常节点的过程中,更多的容器被迁移到了问题 ...
2018-09-03 11:16 2 725 推荐指数:
我们的生产环境部署了 2 个 docker swarm 集群,集群 swarm-a 用于专门跑博客站点,集群 swarm-b 用于跑其他站点,manager 节点用了阿里云包月服务器,worker 节点用了阿里云抢占式实例。 今天 11:03 收到阿里云的短信通知“您的抢占式实例:实例ID(实例 ...
非常抱歉,今天下午 16:55~17:05 左右,由于 docker swarm 集群的突发不稳定问题造成新版博客后台(目前处于灰度发布阶段)无法正常使用,由此给您带来麻烦,请您谅解。 出故障期时,新版博客后台的2个容器都无法正常启动。 发现问题后,我们进行了删除 stack ...
非常抱歉,今天 10:05-10:20 左右,我们用阿里云服务器搭建的 docker swarm 集群又出现故障,又是因为突然的节点 CPU 波动。 受这次故障影响的站点有 闪存,博问,班级,园子,短信息,招聘,小组,网摘,openapi ,由此给您带来很大的麻烦,请您谅解。 故障前先是有一个 ...
今天下午14:30左右,先是发现博客后台出现502(博客后台的 pod 健康检查时会连接数据库,如果连接过慢造成健康检查失败,pod 会重启,如果所有 pod 都因健康检查失败而重启,这时访问就会出现502)。过了一会,其中1个 pod 重启成功,博客后台恢复正常。 原以为只是一次短暂的波动 ...
今天傍晚 17:38-18:18 左右,由于 docker swarm 集群出现 "The swarm does not have a leader" 问题,造成博问、闪存、园子、小组、openapi 无法正常访问,由此给您带来麻烦,请您谅解。 目前我们已经迁移至 asp.net core ...
简介 Docker Swarm 是 Docker 的集群管理工具。它将 Docker 主机池转变为单个虚拟 Docker 主机。 Docker Swarm 提供了标准的 Docker API,所有任何已经与 Docker 守护程序通信的工具都可以使用 Swarm 轻松地扩展到多个主机。 支持 ...
今天凌晨我们用阿里云服务器自建的 kubernetes 集群出现突发异常情况,博客站点(blog-web)与博客 web api(blog-api)的 pod 无法正常启动(CrashLoopBackOff)。 kubectl get pods -l app=blog-web ...
在上次遭遇 docker swarm 集群故障后,我们将 docker 由 17.10.0-ce 升级为最新稳定版 docker 17.12.0-ce 。 前天晚上22:00之后集群中的2个节点突然出现CPU波动,在CPU波动之后,在凌晨夜深人静、访问量极低的时候,整个集群出现了故障,访问 ...