Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooldir Source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；而 Taildir Source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控。 一、创建配置文件 ...

把Flume的Source设置为 Spooling directory source，在设定的目录下放置需要读取的文件，一些文件在读取过程中会报错。 文件格式和报错如下： 实验一 读取汉子和“；"符号的TXT文档 会报一下错误 [html ...

运行结果： 运行结果： ...

0x00 前言 　　最近用Source Insight分析一开源软件代码发现，在linux下的C++编译文件格式为.cc，Source Insight在默认配置下，添加全部文件怎么都找不到.cc文件，故查了留个笔记 0x01 设置 　　在创建工程前，先添加上没有被加载的文件格式 ...

直接上代码 ...

监控hdfs的一个目录，若有新文件，spark就开始处理这个文件，可以使用spark streaming textfilestream来监控该目录 ...

因为flume的spooldir不支持子目录文件的递归检测，并且业务需要，所以修改了源码，重新编译 代码修改参考自：http://blog.csdn.net/yangbutao/article/details/8835563 不过在1.4中已经不是修改 ...

一、从svn上把项目相关的内容拉到本地 二、更新文件 三、关于SVN右键没有update和commit操作的原因及解决 Tortoisesvn下载安装后，点击右键会发现没有update和commit的操作，一直以为是不是因为版本的问题 ...