flume1.7一直都是自己修改源代碼實現斷點續傳，1.7之后出現taildir source實現斷點續傳。 https://blog.csdn.net/Abysscarry/article/details/89420560 小文件過多的解決方案： https ...

最近發現離線任務對一個增量Hive表的查詢越來越慢，這引起了我的注意，我在cmd窗口手動執行count操作查詢發現，速度確實很慢，才不到五千萬的數據，居然需要300s，這顯然是有問題的，我推測可能是有小文件。 我去hdfs目錄查看了一下該目錄： 發現確實有很多小文件，有480個小文件 ...

在日常編程中我們都會遇到與后端聯調接口的各種問題，最常見的就是處理返回數據過多或者數據過於復雜的情況，接下來我們就來一起探索一下如何處理這類問題。 后端返回的數據過多會造成頁面加載數據的時候卡死不動，那么這種情況我們該如何處理 采用的辦法有兩種 ...

參考https://www.cnblogs.com/flymin/p/11345646.html 小文件：存儲於HDFS中小文件，即指文件的大小遠小於HDFS上塊（dfs.block.size）大小的文件。 ...

一、小文件是如何產生的 1.動態分區插入數據，產生大量的小文件，從而導致map數量劇增。 2.reduce數量越多，小文件也越多(reduce的個數和輸出文件是對應的)。 3.數據源本身就包含大量的小文件。 二、小文件問題的影響 1.從Hive的角度看，小文件會開很多map，一個 ...

小文件問題原因： ① 眾所周知，小文件在HDFS中存儲本身就會占用過多的內存空間，那么對於MR查詢過程中過多的小文件又會造成啟動過多的Mapper Task, 每個Mapper都是一個后台線程，會占用JVM的空間。 ② 在Hive中，動態分區會造成在插入數據過程中，生成過多零碎的小文件 ...

今天習慣性更新manjaro並重啟之后，發現電腦時不時卡頓，連用vscode寫代碼都不流暢。 去manjaro論壇找了一下升級announcement，並沒有發現類似情況，於是htop看了一下，發現 ...

1、hive.merge.mapfiles，True時會合並map輸出。2、hive.merge.mapredfiles，True時會合並reduce輸出。3、hive.merge.size.per.task，合並操作后的單個文件 ...