原文:namenode 问题小记

问题 :namenode进程故障 Namenode挂掉,Namenode gc日志里面YGC报错promotion failed 现象描述 NameNode进程挂掉,Namenode gc日志里面YGC报错promotion failed。 可能原因 Young gc的时候,需要复制eden区和from区内的对象到to区,如果此时to区满了,就会使用悲观策略复制到old区,而此时old区也满了,就 ...

2018-09-30 20:10 0 770 推荐指数:

查看详情

namenode 优化 mv慢的问题

问题现象 问题描述   公司业务程序需求每30分钟mv 一万多个文件,如果三十分钟之内当前的文件内容没有全部移动,程序报错并且停止。 分析   通过分析,发现在启动balancer和不启动balancer的情况下,namenode的处理能力差别巨大。不启动balancer,一万多个文件不到 ...

Thu Jul 18 19:10:00 CST 2019 0 680
Namenode写Journalnode超时,导致Namenode挂掉的问题

昨天还好好的集群,今天早上来看又挂掉了,还好是家里的测试服务器集群。。。 首先,查看了Namenode的状态,发现两台Namenode只剩下一台了,赶紧到挂了的那台去查看了logs下的日志: 以上是hadoop-hadooptest-namenode ...

Wed Aug 10 17:28:00 CST 2016 1 5281
Hadoop问题小记

1.使用eclipse开发mapreduce程序,发现是跑在本地(LocalRunnerJob),而不是集群。 解决方法:将程序打成jar包,然后使用hadoop命令行运行。打包用Fat jar这个 ...

Thu Apr 18 00:02:00 CST 2013 0 11202
问题小记(一):Eureka DS Replicas

最近工作中开始搭建工程,发现一个很迷惑的地方 DS Replicas。 之前接触Eureka也只是简单搭建。 现象描述: eureka在k8s环境起了两台。回家后本地搭建配置文件如下:applic ...

Sun Sep 05 01:27:00 CST 2021 0 107
有依赖的背包问题小记

前言 众所周知,背包是可以挂在树上的。 有依赖的背包问题 顾名思义,有依赖的背包里的物品的选择是有依赖的废话即选择一个物品,就必须先选某个物品。这个必须先选的物品我们称之为依赖物品。一般地,某个物品的依赖物品只有一个(如果有多个的话可以考虑把出题人挂在树上)(但某个物品可以同时被多个物品依赖 ...

Sun Oct 27 19:41:00 CST 2019 0 549
druid之监控设置及问题小记

druid是什么注不再赘述了。想了解直接参见 https://github.com/alibaba/druid/wiki/%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98 ...

Fri Jun 12 22:26:00 CST 2015 2 7309
namenode启动成功,但是不能通过web访问50070问题

我在CentOS遇到这个问题,50070不行但8088可以,尝试了各种方法无法解决,各个进程全都启动,格式化namenode,各种配置正常均无法解决。后来觉得是默认访问端口没有生效,所以尝试添加端口配如下mapred-site.xml 添加下面两个<property> < ...

Wed Sep 26 01:19:00 CST 2018 0 1717
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM