在Hive命令行執行查詢時，出現錯誤 Error: java.io.IOException: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block ...

首先得好看有多少損壞的文件，其中需要使用Hadoop的fsck命令： 以下是官方解釋 用法： hadoop fsck //路徑 以上將會展示該路徑下所有受損的文件 最后用-delete 可以清除掉所有受損的文件 ...

序列化問題多事rdd遍歷過程中使用了沒有序列化的對象。 1.將未序列化的變量定義到rdd遍歷內部。如定義入數據庫連接池。 2.常量定義里包含了未序列化對象 ，提出去吧 如下常量要放到main里，不能放到rdd的遍歷中。 ...

不知道怎么回事，今天在啟動集群時通過jps查看進程時始終有一個standby namenode進程無法啟動。查看日志時報的是不能加載fsimage文件。日志截圖如下： 日志報的很明顯了是不能加載 ...

原先使用hadoop默認設置（hadoop1.2.1），secondarynamenode會正常進行備份，定時從namenode拷貝image文件到SNN。但是具體SNN備份的時間周期和log文件的大小無法定制，后來樓主就修改了SNN的設置 ...

　　這個問題困擾了我一天多的時間，百度搜索的前幾條的答案也是很扯淡的，說什么把/etc/hosts文件下的127.0.1.1改成127.0.0.1就行了，我也只能呵呵了。今天早上起得很晚，中午迪哥請我 ...

最終解決了，其實我心中有一句MMP。 版本： hadoop 2.6.4 + hbase0.98 第一個問題，端口問題8020 hadoop默認的namenode 資源子接口是8020 端口，然后我這接口已經改成了9000.但是不知道為啥 hbase 還是去找那個8020 ...

報錯日志： 解決辦法： 需要把hdfs的配置文件 hdfs-site.xml和core-site.xml配置文件copy到flume/conf/ 目錄下， 另外把需要的hadoop jar包拷貝到flume/lib 目錄下（或者引用環境變量） 需要的相關jar包 ...