hadoop运维笔记
一. 故障处理部分 1.1. spark提交任务报错java.lang.NoClassDefFoundError: com/alibaba/fastjson/JSON 报错原因： 在运行环境没有找 ...
原文：Hadoop运维操作
. 处理hadoop的namenode宕机 处理措施： 进入hadoop的bin目录，重启namenode服务 操作命令： cd path to hadoop bin . hadoop daemon.sh start namenode . 处理hadoop的jobtacker宕机 处理措施： 进入hadoop的bin目录，重启jobtacker服务 操作命令： cd path to hadoop ...
2013-01-04 09:09 0 3134 推荐指数：
相关推荐
Hadoop日常运维问题汇总
一：namenode出现missing blocks 日常巡检CDH集群和HDP集群发现有些namenode下有很多missing blocks ，hadoop数据存储单位为块。一块64M，这些Missing大多因为元数据丢失而毁坏，很难恢复。就行硬盘故障一样，需要fsck并且delete ...
Redis 相关运维操作
背景 Redis作为目前全球最流行的KV存储，除了使用之外，还需要做好日常的运维工作。关于运维相关的工作，本文从以下方面进行介绍说明（Redis5.0以上）： 内存方面 客户端连接方面 工具方面 说明 内存方面 说明：第一个值是memory stats提供，第二个值 ...
hadoop日常运维与升级总结
日常运维 升级 问题处理方法 日常运维 进程管理 由于配置文件的更改，需要重启生效， 或者是进程自己因某种致命原因终止， 或者发现进程工作出现异常等情况下，需要进行手动进程的关闭或启动， 或者是增删节点过程中的需要， 进程的关闭与启动，使用 hadoop ...
hadoop+kerberos常用运维命令
kerberos相关： kadmin.local //以超管身份进入kadmin kadmin //进入kadmin模式，需输入密码 kdb5_util create -r JEN ...
hadoop 性能调优与运维
hadoop 性能调优与运维 硬件选择 1) hadoop运行环境 2) 原则一： 主节点可靠性要好于从节点 原则二：多路多核，高频率cpu、大内存， namenode 100万文件的元数据要消耗800M内存，内存决定了集群保存文件数的总量 ...
hadoop集群运维碰到的问题汇总
1.zookeeper报错 2017 - 12 - 13 16 : 47 : 55 , 968 [myid:] - INFO [ma ...
hadoop运维问题记录
hadoop综合问题记录 1、hdfs无法启动 错误： 解决： # su hdfs //切换到hdfs用户，若关闭了hdfs的权限则可略过这一步# hadoop dfsadmin -safemode leave //让namenode离开安全模式 2、oozie启动 ...