一、小文件概述　　 　　小文件通常指文件大小要比HDFS塊大小還要小很多的文件（在hadoop1.x版本的時候可以通過dfs.blocksize來設置，默認塊大小為64M；在hadoop2.x版本的時候，則需要通過dfs.block.size設置，且默認大小為128M） 　　如果存在大量小文件 ...

...

redis使用集群部署，如果遇到斷電或者服務器重啟，當再次啟動的時候，有時候會啟動不了。需要使用trib的fix命令進行修復。如果修復還是不行的話，可以清除節點數據再重新建集群，前提要備份之后操作。 1.使用redis-cli連接上redis其中一台 redis-cli -c -h ...

redis使用集群部署，如果遇到斷電或者服務器重啟，當再次啟動的時候，有時候會啟動不了。需要使用trib的fix命令進行修復。如果修復還是不行的話，可以清除節點數據再重新建集群，前提要備份之后操作。 1.使用redis-cli連接上redis其中一台 redis-cli -c -h xxx ...

redis使用集群部署，如果遇到斷電或者服務器重啟，當再次啟動的時候，有時候會啟動不了。需要使用trib的fix命令進行修復。如果修復還是不行的話，可以清除節點數據再重新建集群，前提要備份之后操作。 1.使用redis-cli連接上redis其中一台 redis-cli -c -h xxx ...

http://tech.meituan.com/namenode-restart-optimization.html 一、背景 在Hadoop集群整個生命周期里，由於調整參數、Patch、升級等多種場景需要頻繁操作NameNode重啟，不論采用何種架構，重啟期間集群整體存在可用性和可靠性的風險 ...

　　　　　　　　　　　　HDFS重啟集群導致數據損壞，使用fsck命令修復過程 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正傑 版權聲明：原創作品，謝絕轉載！否則將追究法律責任。 　　我們先看一組輸出 ...

問題：flume指定HDFS類型的Sink時，采集數據至HDFS指定目錄，會產生大量小文件。 問題重現： 1、創建flume配置文件flume-env.sh，： flume配置文件如下（根據自身需要修改）： 因為flume可以配置多種采集方式，每種采集方式對應一個 ...