今天做sqoop的增量导入操作，但是在第一次执行的时候，数据是全量的，后面数据就是按照增量的方式对数据进行导入操作。不想手动的去操作shell命令，就对 是否是全量导入还是变量导入做了一个判断操作但 ...

1、java通过hdfs远程连接hdfs，不需要在客户端机配置ip映射。 2、python利用hdfs库通过webhdfs操作hdfs，必须在客户端机配置ip映射 3、阿里云配置hadoop，/etc/hosts要设置内网ip，namenode才能正常运行。但是java ...

我们可以在mysql的安装目录下看到mysql的二进制日志文件，如mysql-bin.000***等，很多人都不及时的处理，导致整个硬盘被塞满也是有可能的。这些是数据库的操作日志。它记录了我们平时使用的sql语句命令,即使这个sql语句没有被执行，也会被记录，它包括执行时间之类的都详细在案 ...

Linux ~ 查看日志的常用命令总结 1.tail 　　① tail -f test.log 实时显示test.log文件里的最尾部的内容，只要test.log更新就可以看到最新的文件内容。 　　② tail -100f test.log ...

tail 用于输出文件中的尾部内容，实际应用如下： // 显示文件倒数2行数据，并实时刷新新日志 tail -2f demo.log // 执行效果如下： line9 56 line0 78 // 如果你需要停止，按Ctrl+C退出 // 假如查看的日志，实时刷新的日志量非常多的话，慎用 ...

HDFS配额总结 标签（空格分隔）： Apache Hadoop HDFS允许管理员给私人目录设置其下面文件夹和文件的总数量配额，或空间使用总量配额。所以HDFS配额的对象是目录，而非用户。如果需要实现用户级别的配额，则需要采用第三方系统进行逻辑管理并映射到文件夹配额。 在往有配额的目录 ...

下载apache-flume-1.7.0-bin.tar.gz，用 解压，在/etc/profile文件中增加设置： 修改$FLUME_HOME/conf/下的两个文件 ...

总结了一下三个方法：hdfs自带 按字节复制 按行复制 （在java io里还有字符复制，暂且不提） 因为hdfs自带的，不知道为什么有些场合不能用，每次能下载的个数还不一定，所以就考虑自己按照java的方式来复制，就出现第2、3种方法。 有时间好好研究一下IO，比如针对特殊文件，文件复制会出 ...