Logstash用WebHdfs插件發數據至HDFS問題記錄

1.Failed to flush outgoing items {:outgoing_count=>1, :exception=>"WebHDFS::IOError" ...

解決方案：確認hdfs-site.xml對WebHdfs進行了配置，具體配置如下：

<property>
    <name>dfs.namenode.http-address</name>p
    <value>hadoop01:50070</value> //可以不用配置
</property>
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

2. Failed to APPEND_FILE XXX.log for DFSClient_NONMAPREDUCE...

解決方案：確認hdfs-site.xml對datanode和append進行了配置，具體配置如下：

<property>
<name> dfs.datanode.hostname</name>
<value>外網ip</value>
</property>

<!-- appendToFile追加 -->
<property>
        <name>dfs.support.append</name>
        <value>true</value>
</property>

<property>
        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
        <value>NEVER</value>
</property>

3.WebHDFS::ClientError　　

解決方案：1）修改數據采集機器上的hosts文件如下：

 

 2）webhdfs output插件設置