YARN 运维、巡检、监控、调优、排障
1、巡检YARN 为 Hadoop 集群的上层应用，包括 MapReduce、Spark 等计算服务在内，提供了统一的资源管理和调度服务。每日早晚巡检YARN 服务，主要检查资源池内主机的健康状态，保障 YARN 服务可用性。1.1、YARN CM 运行状态Yarn 集群，目前 Cloudera ...
原文：HDFS巡检、监控、调优、排障
巡检 HDFS 为集群提供高可用性弹性存储服务，是集群的存储主体。 每日早晚巡检HDFS 服务，包括HDFS 服务可用性 存储使用率 datanode 是否有故障盘等。 . HDFS 总体状态 HDFS 状态，如下的红色提示需要关注 HDFS容量是否过阈值 . HDFS UI 巡检 . . summary巡检 对应上图所示标号，逐一进行解释： HDFS 总文件数：此数值代表着 HDFS 存储内有 ...
2021-07-06 16:07 0 590 推荐指数：
相关推荐
hdfs调优
本文章来自 hackershell.cn,转载请标注出处 描述 这篇文章主要从一些配置设置相关方面去调优Hadoop集群的笔记，内容来自网上或一些实践经验 1.HDFS审计日志 HDFS审计日志是一个和进程分离的日志文件，默认是没有开启的，开启之后，用户的每个请求都会记录到审计日志 ...
HDFS参数调优
hdfs-site.xml调优： 1.dfs.namenode.handler.count=20 * log2(Cluster Size) 比如集群规模为 8 台时，此参数设置为 60 NameNode 有一个工作线程池，用来处理不同 DataNode ...
MYSQL监控调优
MySQL监控调优 一、Mysql性能介绍 1、什么是Mysql？它有什么优点？ MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个 ...
JVM监控与调优
一、JVM内存及参数设置 -Xmn新生代内存大小的最大值，包括E区和两个S区的总和，使用方法如：-Xmn65535，-Xmn1024k，-Xmn512m，-Xmn1g (-Xms,-Xmx也是种 ...
mysql监控以及调优
mysql 优点： 简单易用，成本低，易扩展，复制功能领先 mysql的生命周期： Mysql服务器监听3306端口>验证访问用户>创建mysql线程>检查内存（Qcache） ...
HDFS参数调优总结
HDFS参数调优总结 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.DataNode参数调优 1> ...
排障利器之远程调试与监控 --jmx & remote debug
监控和调试功能是应用必备的属性之一，其手段也是多种多样。 一般地，我们可以通过：线上日志， zabbix, grafana, cat 等待系统做一问题留底，有问题及时报警，从而达到监控效果。 而对于应用的调试，我之前的文章也提到了几个工具，当然，我对于 arthas 是调试赞扬 ...