深入淺出讓你理解什么是LLVM

什么是LLVM

轉載自https://www.jianshu.com/p/1367dad95445

LLVM項目是模塊化、可重用的編譯器以及工具鏈技術的集合。

美國計算機協會 (ACM) 將其2012 年軟件系統獎項頒給了LLVM，之前曾經獲得此獎項的軟件和技術包括:Java、Apache、 Mosaic、the World Wide Web、Smalltalk、UNIX、Eclipse等等
創始人:Chris Lattner，亦是Swift之父

趣聞：Chris Latter本來只是想寫一個底層的虛擬機，這也是LLVM名字的由來，low level virtual machine，跟Java的JVM虛擬機一樣，可是后來，llvm從來沒有被用作過虛擬機，哪怕LLVM的名氣已經傳開了。所以人們決定仍然叫他LLVM，更多的時候只是當作“商標”一樣的感覺在使用，其實它跟虛擬機沒有半毛錢關系。官方描述如下
The name "LLVM" itself is not an acronym; it is the full name of the project. “LLVM”這個名稱本身不是首字母縮略詞; 它是項目的全名。

傳統的編譯器架構

 

傳統編譯器架構

• Frontend:前端
  詞法分析、語法分析、語義分析、生成中間代碼
• Optimizer:優化器
  中間代碼優化
• Backend:后端
  生成機器碼

LLVM架構

 

LLVM架構

• 不同的前端后端使用統一的中間代碼LLVM Intermediate Representation (LLVM IR)
• 如果需要支持一種新的編程語言，那么只需要實現一個新的前端
• 如果需要支持一種新的硬件設備，那么只需要實現一個新的后端
• 優化階段是一個通用的階段，它針對的是統一的LLVM IR，不論是支持新的編程語言，還是支持新的硬件設備，都不需要對優化階段做修改
• 相比之下，GCC的前端和后端沒分得太開，前端后端耦合在了一起。所以GCC為了支持一門新的語言，或者為了支持一個新的目標平台，就 變得特別困難
• LLVM現在被作為實現各種靜態和運行時編譯語言的通用基礎結構(GCC家族、Java、.NET、Python、Ruby、Scheme、Haskell、D等)

什么是Clang

LLVM項目的一個子項目，基於LLVM架構的C/C++/Objective-C編譯器前端。

相比於GCC，Clang具有如下優點

• 編譯速度快:在某些平台上，Clang的編譯速度顯著的快過GCC(Debug模式下編譯OC速度比GGC快3倍)
• 占用內存小:Clang生成的AST所占用的內存是GCC的五分之一左右
• 模塊化設計:Clang采用基於庫的模塊化設計，易於 IDE 集成及其他用途的重用
• 診斷信息可讀性強:在編譯過程中，Clang 創建並保留了大量詳細的元數據 (metadata)，有利於調試和錯誤報告
• 設計清晰簡單，容易理解，易於擴展增強

Clang與LLVM關系

 

Clang與LLVM

LLVM整體架構，前端用的是clang，廣義的LLVM是指整個LLVM架構，一般狹義的LLVM指的是LLVM后端（包含代碼優化和目標代碼生成）。

源代碼（c/c++）經過clang--> 中間代碼(經過一系列的優化，優化用的是Pass) --> 機器碼

OC源文件的編譯過程

這里用Xcode創建一個Test項目，然后cd到main.m的上一路徑。
命令行查看編譯的過程:$ clang -ccc-print-phases main.m

$ clang -ccc-print-phases main.m 0: input, "main.m", objective-c 1: preprocessor, {0}, objective-c-cpp-output 2: compiler, {1}, ir 3: backend, {2}, assembler 4: assembler, {3}, object 5: linker, {4}, image 6: bind-arch, "x86_64", {5}, image 

0.找到main.m文件
1.預處理器，處理include、import、宏定義
2.編譯器編譯，編譯成ir中間代碼
3.后端，生成目標代碼
4.匯編
5.鏈接其他動態庫靜態庫
6.編譯成適合某個架構的代碼

查看preprocessor(預處理)的結果:$ clang -E main.m
這個命令敲出，終端就會打印許多信息，大致如下：

# 1 "main.m" # 1 "<built-in>" 1 # 1 "<built-in>" 3 # 353 "<built-in>" 3 # 1 "<command line>" 1 # 1 "<built-in>" 2 # 1 "main.m" 2 . . . int main(int argc, const char * argv[]) { @autoreleasepool { NSLog(@"Hello, World!"); } return 0; } 

詞法分析

詞法分析，生成Token: $ clang -fmodules -E -Xclang -dump-tokens main.m
將代碼分成一個個小單元（token）

舉例如下：

void test(int a, int b){ int c = a + b - 3; } 

void 'void' [StartOfLine] Loc=<main.m:18:1> identifier 'test' [LeadingSpace] Loc=<main.m:18:6> l_paren '(' Loc=<main.m:18:10> int 'int' Loc=<main.m:18:11> identifier 'a' [LeadingSpace] Loc=<main.m:18:15> comma ',' Loc=<main.m:18:16> int 'int' [LeadingSpace] Loc=<main.m:18:18> identifier 'b' [LeadingSpace] Loc=<main.m:18:22> r_paren ')' Loc=<main.m:18:23> l_brace '{' Loc=<main.m:18:24> int 'int' [StartOfLine] [LeadingSpace] Loc=<main.m:19:5> identifier 'c' [LeadingSpace] Loc=<main.m:19:9> equal '=' [LeadingSpace] Loc=<main.m:19:11> identifier 'a' [LeadingSpace] Loc=<main.m:19:13> plus '+' [LeadingSpace] Loc=<main.m:19:15> identifier 'b' [LeadingSpace] Loc=<main.m:19:17> minus '-' [LeadingSpace] Loc=<main.m:19:19> numeric_constant '3' [LeadingSpace] Loc=<main.m:19:21> semi ';' Loc=<main.m:19:22> r_brace '}' [StartOfLine] Loc=<main.m:20:1> eof '' Loc=<main.m:20:2> 

可以看出，詞法分析的時候，將上面的代碼拆分一個個token，后面數字表示某一行的第幾個字符，例如第一個void，表示第18行第一個字符。

語法樹-AST

語法分析，生成語法樹(AST，Abstract Syntax Tree): $ clang -fmodules -fsyntax-only -Xclang -ast-dump main.m
通過語法樹，我們能知道這個代碼是做什么的。

還是剛剛的test函數
生成語法樹如下：

|-FunctionDecl 0x7fa1439f5630 <line:18:1, line:20:1> line:18:6 test 'void (int, int)'
| |-ParmVarDecl 0x7fa1439f54b0 <col:11, col:15> col:15 used a 'int'
| |-ParmVarDecl 0x7fa1439f5528 <col:18, col:22> col:22 used b 'int'
| `-CompoundStmt 0x7fa142167c88 <col:24, line:20:1>
|   `-DeclStmt 0x7fa142167c70 <line:19:5, col:22>
|     `-VarDecl 0x7fa1439f5708 <col:5, col:21> col:9 c 'int' cinit
|       `-BinaryOperator 0x7fa142167c48 <col:13, col:21> 'int' '-'
|         |-BinaryOperator 0x7fa142167c00 <col:13, col:17> 'int' '+'
|         | |-ImplicitCastExpr 0x7fa1439f57b8 <col:13> 'int' <LValueToRValue>
|         | | `-DeclRefExpr 0x7fa1439f5768 <col:13> 'int' lvalue ParmVar 0x7fa1439f54b0 'a' 'int'
|         | `-ImplicitCastExpr 0x7fa1439f57d0 <col:17> 'int' <LValueToRValue>
|         |   `-DeclRefExpr 0x7fa1439f5790 <col:17> 'int' lvalue ParmVar 0x7fa1439f5528 'b' 'int'
|         `-IntegerLiteral 0x7fa142167c28 <col:21> 'int' 3

`-<undeserialized declarations>

在終端敲出的時候，終端很直觀的幫我們用顏色區分。我們可以用圖形顯示如下：

 

test函數的語法樹

LLVM IR

LLVM IR有3種表示形式（本質是等價的）

• text:便於閱讀的文本格式，類似於匯編語言，拓展名.ll， $ clang -S -emit-llvm main.m
• memory:內存格式
• bitcode:二進制格式，拓展名.bc， $ clang -c -emit-llvm main.m

我們以text形式編譯查看：

; Function Attrs: noinline nounwind optnone ssp uwtable define void @test(i32, i32) #2 { %3 = alloca i32, align 4 %4 = alloca i32, align 4 %5 = alloca i32, align 4 store i32 %0, i32* %3, align 4 store i32 %1, i32* %4, align 4 %6 = load i32, i32* %3, align 4 %7 = load i32, i32* %4, align 4 %8 = add nsw i32 %6, %7 %9 = sub nsw i32 %8, 3 store i32 %9, i32* %5, align 4 ret void } 

IR基本語法
注釋以分號 ; 開頭
全局標識符以@開頭，局部標識符以%開頭
alloca，在當前函數棧幀中分配內存
i32，32bit，4個字節的意思
align，內存對齊
store，寫入數據
load，讀取數據
官方語法參考 https://llvm.org/docs/LangRef.html

應用與實踐

我們的開發都是基於源碼開發，所以我們首先要進行源碼下載和編譯。
源碼下載

下載LLVM $ git clone https://git.llvm.org/git/llvm.git/ 下載clang $ cd llvm/tools $ git clone https://git.llvm.org/git/clang.git/ 備注：clang是llvm的子項目，但是它們的源碼是分開的，我們需要將clang放在llvm/tools目錄下。 

源碼編譯
這里我們在終端敲出的clang是xcode默認內置clang編譯器，我們自己要進行LLVM開發的話，需要編譯屬於我們自己的clang編譯器

首先安裝cmake和ninja(先安裝brew，https://brew.sh/) $ brew install cmake $ brew install ninja ninja如果安裝失敗，可以直接從github獲取release版放入【/usr/local/bin】中 https://github.com/ninja-build/ninja/releases 在LLVM源碼同級目錄下新建一個【llvm_build】目錄(最終會在【llvm_build】目錄下生成【build.ninja】 $ cd llvm_build $ cmake -G Ninja ../llvm -DCMAKE_INSTALL_PREFIX=LLVM的安裝路徑 備注：生成build.ninja，就表示編譯成功，-DCMAKE_INSTALL_PREFIX 表示編譯好的東西放在指定的路徑，-D表示參數。 更多cmake相關選項，可以參考: https://llvm.org/docs/CMake.html 

接下來依次執行編譯、安裝指令

$ ninja
編譯完畢后， 【llvm_build】目錄大概 21.05 G（這個真的是好大啊） $ ninja install 

然后到這里我們的編譯就完成了。

另一種方式是通過Xcode編譯，生成Xcode項目再進行編譯，但是速度很慢(可能需要1個多小時)。

方法如下：
 在llvm同級目錄下新建一個【llvm_xcode】目錄
$ cd llvm_xcode
$ cmake -G Xcode ../llvm 

應用與實踐的參考

• libclang、libTooling
  官方參考:https://clang.llvm.org/docs/Tooling.html
  應用:語法樹分析、語言轉換等

• Clang插件開發
  官方參考
  1、https://clang.llvm.org/docs/ClangPlugins.html
  2、https://clang.llvm.org/docs/ExternalClangExamples.html
  3、https://clang.llvm.org/docs/RAVFrontendAction.html
  應用:代碼檢查(命名規范、代碼規范)等

• Pass開發
  官方參考:https://llvm.org/docs/WritingAnLLVMPass.html
  應用:代碼優化、代碼混淆等

• 開發新的編程語言
  1、 https://llvm-tutorial-cn.readthedocs.io/en/latest/index.html
  2、https://kaleidoscope-llvm-tutorial-zh-cn.readthedocs.io/zh_CN/latest/

參考：
https://juejin.im/post/5bfba01df265da614273939a

作者：呆呆滴木木菇涼
鏈接：https://www.jianshu.com/p/1367dad95445
來源：簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。