Hive面試題整理（一） 1、Hive表關聯查詢，如何解決數據傾斜的問題？（☆☆☆☆☆）   1）傾斜原因：map輸出數據按key Hash的分配到reduce中，由於key分布不均勻、業務數據本身的特、建表時考慮不周、等原因造成的reduce 上的數據量差異過大。  （1）key分布不均勻 ...

Hive優化目標 在有限的資源下，執行效率更高 常見問題： 數據傾斜 map數設置 reduce數設置 其他 Hive執行 HQL --> Job --> Map/Reduce 執行計划 explain [extended] hql ...

一、求單月訪問次數和總訪問次數 1、數據說明 數據字段說明 數據格式 2、數據准備 （1）創建表 （2）導 ...

1. 什么是hive? hive是基於Hadoop的一個數據倉庫工具，可以將結構化和半結構化的數據文件映射為一張數據庫表， 並提供簡單的sql查詢功能。 注意： (1)Hive本質是將HDFS轉換成MapReduce的任務進行運算，底層由HDFS來提供數據存儲。 (2)Hive的元數據存儲 ...

1.Hive數據傾斜問題。數據傾斜：數據傾斜主要表現在，map/reduce程序執行時，reduce節點大部分執行完畢，但是有一個或者幾個reduce節點運行很慢，導致整個程序的處理時間很長，這是因為某一個key的條數比其他key多很多(有時是百倍或者千倍之多)，這條Key所在的reduce節點 ...

其他1. 什么是冪等？什么情況下需要考慮冪等？你怎么解決冪等的問題？編程中一個冪等操作的特點是其任意多次執行所產生的影響均與一次執行的影響相同。 Java1. 多個線程同時讀寫，讀線程的數量遠遠大於 ...

對待像我這種2年開發經驗的同學 一般都會被問到。 在面試中，我們只要簡短的介紹就好了。 首先低調一波，我可能懂的比你少，我就簡單說說 1.在排序中，我們使用的是sortBy,它是基於索引，效率高於order by 2.我們在分區的時候采用靜態分區，靜態分區只是讀取配置文件，而動態分區需要 ...

1、Flume使用場景（☆☆☆☆☆） 線上數據一般主要是落地（存儲到磁盤）或者通過socket傳輸給另外一個系統，這種情況下，你很難推動線上應用或服務去修改接口，實現直接向kafka里寫數據，這時候 ...