在Hive命令行执行查询时，出现错误 Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block ...

首先得好看有多少损坏的文件，其中需要使用Hadoop的fsck命令： 以下是官方解释 用法： hadoop fsck //路径 以上将会展示该路径下所有受损的文件 最后用-delete 可以清除掉所有受损的文件 ...

序列化问题多事rdd遍历过程中使用了没有序列化的对象。 1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。 2.常量定义里包含了未序列化对象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍历中。 ...

不知道怎么回事，今天在启动集群时通过jps查看进程时始终有一个standby namenode进程无法启动。查看日志时报的是不能加载fsimage文件。日志截图如下： 日志报的很明显了是不能加载 ...

原先使用hadoop默认设置（hadoop1.2.1），secondarynamenode会正常进行备份，定时从namenode拷贝image文件到SNN。但是具体SNN备份的时间周期和log文件的大小无法定制，后来楼主就修改了SNN的设置 ...

　　这个问题困扰了我一天多的时间，百度搜索的前几条的答案也是很扯淡的，说什么把/etc/hosts文件下的127.0.1.1改成127.0.0.1就行了，我也只能呵呵了。今天早上起得很晚，中午迪哥请我 ...

最终解决了，其实我心中有一句MMP。 版本： hadoop 2.6.4 + hbase0.98 第一个问题，端口问题8020 hadoop默认的namenode 资源子接口是8020 端口，然后我这接口已经改成了9000.但是不知道为啥 hbase 还是去找那个8020 ...

报错日志： 解决办法： 需要把hdfs的配置文件 hdfs-site.xml和core-site.xml配置文件copy到flume/conf/ 目录下， 另外把需要的hadoop jar包拷贝到flume/lib 目录下（或者引用环境变量） 需要的相关jar包 ...