一、小文件概述　　 　　小文件通常指文件大小要比HDFS块大小还要小很多的文件（在hadoop1.x版本的时候可以通过dfs.blocksize来设置，默认块大小为64M；在hadoop2.x版本的时候，则需要通过dfs.block.size设置，且默认大小为128M） 　　如果存在大量小文件 ...

...

redis使用集群部署，如果遇到断电或者服务器重启，当再次启动的时候，有时候会启动不了。需要使用trib的fix命令进行修复。如果修复还是不行的话，可以清除节点数据再重新建集群，前提要备份之后操作。 1.使用redis-cli连接上redis其中一台 redis-cli -c -h ...

redis使用集群部署，如果遇到断电或者服务器重启，当再次启动的时候，有时候会启动不了。需要使用trib的fix命令进行修复。如果修复还是不行的话，可以清除节点数据再重新建集群，前提要备份之后操作。 1.使用redis-cli连接上redis其中一台 redis-cli -c -h xxx ...

redis使用集群部署，如果遇到断电或者服务器重启，当再次启动的时候，有时候会启动不了。需要使用trib的fix命令进行修复。如果修复还是不行的话，可以清除节点数据再重新建集群，前提要备份之后操作。 1.使用redis-cli连接上redis其中一台 redis-cli -c -h xxx ...

http://tech.meituan.com/namenode-restart-optimization.html 一、背景 在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险 ...

　　　　　　　　　　　　HDFS重启集群导致数据损坏，使用fsck命令修复过程 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 　　我们先看一组输出 ...

问题：flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。 问题重现： 1、创建flume配置文件flume-env.sh，： flume配置文件如下（根据自身需要修改）： 因为flume可以配置多种采集方式，每种采集方式对应一个 ...