Hive將SQL轉化為MapReduce的過程


Hive將SQL轉化為MapReduce的過程:

  1. Antlr定義SQL的語法規則,完成SQL詞法,語法解析,將SQL轉化為抽象語法樹AST Tree
  2. 遍歷AST Tree,抽象出查詢的基本組成單元QueryBlock
  3. 遍歷QueryBlock,翻譯為執行操作樹OperatorTree
  4. 邏輯層優化器進行OperatorTree變換,合並不必要的ReduceSinkOperator,減少shuffle數據量
  5. 遍歷OperatorTree,翻譯為MapReduce任務
  6. 物理層優化器進行MapReduce任務的變換,生成最終的執行計划


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM