今天做sqoop的增量導入操作，但是在第一次執行的時候，數據是全量的，后面數據就是按照增量的方式對數據進行導入操作。不想手動的去操作shell命令，就對 是否是全量導入還是變量導入做了一個判斷操作但 ...

1、java通過hdfs遠程連接hdfs，不需要在客戶端機配置ip映射。 2、python利用hdfs庫通過webhdfs操作hdfs，必須在客戶端機配置ip映射 3、阿里雲配置hadoop，/etc/hosts要設置內網ip，namenode才能正常運行。但是java ...

我們可以在mysql的安裝目錄下看到mysql的二進制日志文件，如mysql-bin.000***等，很多人都不及時的處理，導致整個硬盤被塞滿也是有可能的。這些是數據庫的操作日志。它記錄了我們平時使用的sql語句命令,即使這個sql語句沒有被執行，也會被記錄，它包括執行時間之類的都詳細在案 ...

Linux ~ 查看日志的常用命令總結 1.tail 　　① tail -f test.log 實時顯示test.log文件里的最尾部的內容，只要test.log更新就可以看到最新的文件內容。 　　② tail -100f test.log ...

tail 用於輸出文件中的尾部內容，實際應用如下： // 顯示文件倒數2行數據，並實時刷新新日志 tail -2f demo.log // 執行效果如下： line9 56 line0 78 // 如果你需要停止，按Ctrl+C退出 // 假如查看的日志，實時刷新的日志量非常多的話，慎用 ...

HDFS配額總結 標簽（空格分隔）： Apache Hadoop HDFS允許管理員給私人目錄設置其下面文件夾和文件的總數量配額，或空間使用總量配額。所以HDFS配額的對象是目錄，而非用戶。如果需要實現用戶級別的配額，則需要采用第三方系統進行邏輯管理並映射到文件夾配額。 在往有配額的目錄 ...

下載apache-flume-1.7.0-bin.tar.gz，用 解壓，在/etc/profile文件中增加設置： 修改$FLUME_HOME/conf/下的兩個文件 ...

總結了一下三個方法：hdfs自帶 按字節復制 按行復制 （在java io里還有字符復制，暫且不提） 因為hdfs自帶的，不知道為什么有些場合不能用，每次能下載的個數還不一定，所以就考慮自己按照java的方式來復制，就出現第2、3種方法。 有時間好好研究一下IO，比如針對特殊文件，文件復制會出 ...