【原創】大數據基礎之Hive（1）Hive SQL執行過程之代碼流程
hive 2.1 hive執行sql有兩種方式： 執行hive命令，又細分為hive -e，hive -f，hive交互式； 執行beeline命令，beeline會連接遠程thrift server； 下面分別看這些場景下sql是怎樣被執行的： 1 hive命令 ...
原文：【原創】大數據基礎之Hive（2）Hive SQL執行過程之SQL解析過程
Hive SQL解析過程 SQL gt AST Abstract Syntax Tree gt Task MapRedTask，FetchTask gt QueryPlan Task集合 gt Job Yarn SQL解析會在兩個地方進行： 一個是SQL執行前compile，具體在Driver.compile，為了創建QueryPlan 一個是explain，具體在ExplainSemanticA ...
2018-12-27 18:41 0 1403 推薦指數：
相關推薦
【原創】大數據基礎之Benchmark（4）TPC-DS測試結果（hive/hive on spark/spark sql/impala/presto）
1 測試集群 內存：256GCPU：32Core （Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz）Disk（系統盤）：300GDisk（數據盤）：1.5T*1 2 測試數據 tpcds parquet 10g tpcds orc 10g ...
【原創】大數據基礎之Hive（5）hive on spark
hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set ...
大數據學習——hive的sql練習
1新建一個數據庫 2創建一個外部表 3添加數據 vi student.txt 4 查詢 5 group by分組 6 cluster by 分區，排序 ...
【原創】大數據基礎之ElasticSearch（4）es數據導入過程
1 准備analyzer 內置analyzer 參考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...
大數據學習——hive的sql練習題
ABC三個hive表 每個表中都只有一列int類型且列名相同，求三個表中互不重復的數 sql： 運行結果： sql: ...
【原創】大數據基礎之Kafka（2）reassign過程
reassign過程 選擇每個partition的各個replica分布到哪個broker 每個partition的第一個replica隨機選擇一個broker 除第一個replica之外其他的replicas會加一個隨機shift之后順序選擇n-1個broker ...
【轉】Hive SQL的編譯過程
Hive是基於Hadoop的一個數據倉庫系統，在各大公司都有廣泛的應用。美團數據倉庫也是基於Hive搭建，每天執行近萬次的Hive ETL計算流程，負責每天數百GB的數據存儲和分析。Hive的穩定性和性能對我們的數據分析非常關鍵。 在幾次升級Hive的過程中，我們遇到了一些大大小小的問題 ...