原文:Hadoop日常运维问题汇总

一:namenode出现missing blocks 日常巡检CDH集群和HDP集群发现有些namenode下有很多missing blocks ,hadoop数据存储单位为块。一块 M,这些Missing大多因为元数据丢失而毁坏,很难恢复。就行硬盘故障一样,需要fsck并且delete。 CDH集群 :Cloudera manager的dashboard HDFS NameNode Web UI ...

2018-05-11 17:24 0 3266 推荐指数:

查看详情

hadoop日常与升级总结

日常 升级 问题处理方法 日常 进程管理 由于配置文件的更改,需要重启生效, 或者是进程自己因某种致命原因终止, 或者发现进程工作出现异常等情况下,需要进行手动进程的关闭或启动, 或者是增删节点过程中的需要, 进程的关闭与启动,使用 hadoop ...

Tue Jan 19 16:30:00 CST 2016 1 4877
linux日常(一)

- 进程管理ps、top - 任务计划crontab 进程管理 概念:进程是在自身的虚拟地址空间运行的一个单独的程序。 进程和程序区别:程序只是一个静态的命令集合,不占系统的运行资源;而进程是 ...

Thu Aug 01 15:18:00 CST 2019 0 517
Hbase 日常

日常维护的命令 1,major_compact 'testtable',通常生产环境会关闭自动major_compact(配置文件中hbase.hregion.majorcompaction设 为0),选择一个晚上用户少的时间窗口手工major_compact,如果hbase更新不是太 ...

Thu Jun 22 19:25:00 CST 2017 0 1553
oracle日常

Oracle常用命令 单名一个冲关注 0.0992019.04.09 22:44:26字数 1,321阅读 219 1、查看数据文件信息:col file_name for a55select ...

Tue Apr 28 04:35:00 CST 2020 0 964
hadoop问题记录

hadoop综合问题记录 1、hdfs无法启动 错误: 解决: # su hdfs //切换到hdfs用户,若关闭了hdfs的权限则可略过这一步# hadoop dfsadmin -safemode leave //让namenode离开安全模式 2、oozie启动 ...

Wed Apr 25 22:16:00 CST 2018 0 2037
【Ceph】ceph 日常

Ceph 日常管理 目录 Ceph 日常管理 一、集群监控管理 1、集群整体运行状态 2、常用查询状态指令 3、集群标志 4、集群标志操作 5、PG操作 ...

Thu Apr 02 23:08:00 CST 2020 0 1167
linux日常管理

1、查看系统负载命令 w命令:主要查看cpu负载 load average:一分钟内负载 五分钟内负载 十五分钟内负载 负载跟cpu核心数有关,查看cpu核心数: # cat /proc/cp ...

Thu Jun 02 18:27:00 CST 2016 0 3046
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM