HDFS巡检、监控、调优、排障
1、巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性、存储使用率、datanode 是否有故障盘等。 1.1、HDFS 总体状态 ①HDFS 状态，如下的红色提示需要关注 ...
原文：YARN 运维、巡检、监控、调优、排障
巡检YARN 为 Hadoop 集群的上层应用，包括 MapReduce Spark 等计算服务在内，提供了统一的资源管理和调度服务。每日早晚巡检YARN 服务，主要检查资源池内主机的健康状态，保障 YARN 服务可用性。 . YARN CM 运行状态Yarn 集群，目前 Cloudera Manager 显示 个不良， 个存在隐患 打开显示为不良的 NodeManager，这个节点有坏盘正在报 ...
2021-07-08 15:06 0 379 推荐指数：
相关推荐
hadoop 性能调优与运维
hadoop 性能调优与运维 硬件选择 1) hadoop运行环境 2) 原则一： 主节点可靠性要好于从节点 原则二：多路多核，高频率cpu、大内存， namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量 ...
Yarn的资源调优
一、概述 每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，因为每个服务器的Cpu计算能力不一样，有的机器可能是 ...
elasticsearch运维实战之2 - 系统性能调优
elasticsearch性能调优 集群规划 独立的master节点，不存储数据, 数量不少于2 数据节点(Data Node) 查询节点(Query Node)，起到负载均衡的作用 Linux系统参数配置 文件句柄 Linux中，每个进程默认打开的最大文件句柄数 ...
MYSQL监控调优
MySQL监控调优 一、Mysql性能介绍 1、什么是Mysql？它有什么优点？ MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个 ...
JVM监控与调优
一、JVM内存及参数设置 -Xmn新生代内存大小的最大值，包括E区和两个S区的总和，使用方法如：-Xmn65535，-Xmn1024k，-Xmn512m，-Xmn1g (-Xms,-Xmx也是种 ...
mysql监控以及调优
mysql 优点： 简单易用，成本低，易扩展，复制功能领先 mysql的生命周期： Mysql服务器监听3306端口>验证访问用户>创建mysql线程>检查内存（Qcache） ...
排障利器之远程调试与监控 --jmx & remote debug
监控和调试功能是应用必备的属性之一，其手段也是多种多样。 一般地，我们可以通过：线上日志， zabbix, grafana, cat 等待系统做一问题留底，有问题及时报警，从而达到监控效果。 而对于应用的调试，我之前的文章也提到了几个工具，当然，我对于 arthas 是调试赞扬 ...