记一次k8s服务504 timeout


线上服务做集群扩容,调整了节点机器配置,在升级完毕之后,发现某些时候请求较慢,或者直接504 timeout 超时,必现情况,点击几次都是,且并没有代表性。
1、检查istio 日志是否有504 的日志,并查看在哪台node 机器上,看下那台节点机器是否有问题。
2、kubectl get nodes 查看机器节点是否都正常工作。
3、外部代理了一层nginx,查看nginx 错误日志。
        关键点,查看nginx 的进程是否都正常,我们的问题就是nginx 修改了配置,执行了reload 成功,但是进程一直处于is_shutting_down 并未成功杀死,所以某些请求还是打在了旧的节点机器上。
4、所有的都不行,就用重启大法,重启ngnix 重启机器、重新部署,都重做一遍。
 
学习分享:


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM