GCC編譯器原理（三）------編譯原理三：編譯過程（2-1）---編譯之詞法分析

二、編譯

引用文檔：https://blog.csdn.net/chdhust/article/details/9040647

編譯過程就是把預處理完的文件進行一系列詞法分析、語法分析、語義分析及優化后生成相應的匯編代碼文件，這個過程是整個程序構建的核心部分，也是最復雜的部分之一。

現在版本的 GCC 把預編譯和編譯兩個步驟合並成一個步驟，使用 cc1 的程序來完成這兩個步驟。

編譯過程一般分為 6 個步驟：掃描、語法分析、語義分析、源代碼優化、代碼生成和目標代碼優化，過程如下圖：

2.1 詞法分析

源代碼程序被輸入到掃描器（Scanner），掃描器對源代碼進行簡單的詞法分析，運用類似於有限狀態機（Finite State Machine）的算法可以很輕松的將源代碼字符序列分割成一系列的記號（Token）。

詞法分析產生的記號一般可以分為如下幾類：關鍵字、標識符、字面量（包含數字、字符串等）和特殊符號（如加號、等號）。在識別記號的同時，掃描器也完成了其他工作，比如將標識符存放到符號表，將數字、字符串常量存放到文字表等，以備后面的步驟使用。

詞法分析可以使用 lex 工具。

2.2.1 lex 介紹

Lex 是一種生成掃描器的工具。掃描器是一種識別文本中的詞匯模式的程序。 這些詞匯模式（或者常規表達式）在一種特殊的句子結構中定義。

一種匹配的常規表達式可能會包含相關的動作。這一動作可能還包括返回一個標記。 當 Lex 接收到文件或文本形式的輸入時，它試圖將文本與常規表達式進行匹配。 它一次讀入一個輸入字符，直到找到一個匹配的模式。 如果能夠找到一個匹配的模式，Lex 就執行相關的動作（可能包括返回一個標記）。 另一方面，如果沒有可以匹配的常規表達式，將會停止進一步的處理，Lex 將顯示一個錯誤消息。

Lex 和 C 是強耦合的。一個 .lex 文件（Lex 文件具有 .lex 的擴展名）通過 lex 公用程序來傳遞，並生成 C 的輸出文件。這些文件被編譯為詞法分析器的可執行版本。

常規表達式是一種使用元語言的模式描述。表達式由符號組成。符號一般是字符和數字，但是 Lex 中還有一些具有特殊含義的其他標記。 下面兩個表格定義了 Lex 中使用的一些標記並給出了幾個典型的例子。

字符	含義
A-Z，0-9， a-z	構成了部分模式的字符和數字。
.	匹配任意字符，除了 \n。
-	用來指定范圍。例如：A-Z 指從 A 到 Z 之間的所有字符。
[ ]	一個字符集合。匹配括號內的 任意 字符。如果第一個字符是 ^ 那么它表示否定模式。例如: [abC] 匹配 a， b， 和 C中的任何一個。
*	匹配 0個或者多個上述的模式。
+	匹配 1個或者多個上述模式。
?	匹配 0個或1個上述模式。
$	作為模式的最后一個字符匹配一行的結尾。
{ }	指出一個模式可能出現的次數。 例如: A{1, 3} 表示 A 可能出現1次或3次。
\	用來轉義元字符。同樣用來覆蓋字符在此表中定義的特殊意義，只取字符的本意。
^	否定。
|	表達式間的邏輯或。
"<一些符號>"	字符的字面含義。元字符具有。
/	向前匹配。如果在匹配的模版中的"/"后跟有后續表達式，只匹配模版中"/"前 面的部分。如：如果輸入 A01，那么在模版 A0/1 中的 A0 是匹配的。
( )	將一系列常規表達式分組。

表達式例子

常規表達式	含義
joke[rs]	匹配 jokes 或 joker。
A{1,2}shis+	匹配 AAshis, Ashis, AAshi, Ashi。
(A[b-e])+	匹配在 A 出現位置后跟隨的從 b 到 e 的所有字符中的 0 個或 1個。

Lex 中的標記聲明類似 C 中的變量名。每個標記都有一個相關的表達式。 （下表中給出了標記和表達式的例子。） 使用這個表中的例子，我們就可以編一個字數統計的程序了。 我們的第一個任務就是說明如何聲明標記。

聲明舉例：

標記	相關表達式	含義
數字(number)	([0-9])+	1個或多個數字
字符(chars)	[A-Za-z]	任意字符
空格(blank)	" "	一個空格
字(word)	(chars)+	1個或多個 chars
變量(variable)	(字符)+(數字)*(字符)*(數字)*

Lex 編程可以分為三步：

1. 以 Lex 可以理解的格式指定模式相關的動作。
2. 在這一文件上運行 Lex，生成掃描器的 C 代碼。
3. 編譯和鏈接 C 代碼，生成可執行的掃描器。

下面給出一些高級的Lex：

yyin	FILE* 類型。它指向 lexer 正在解析的當前文件。
yyout	FILE* 類型。它指向記錄 lexer 輸出的位置。缺省情況下，yyin 和 yyout 都指向標准輸入和輸出。
yytext	匹配模式的文本存儲在這一變量中（char*）。
yyleng	給出匹配模式的長度。
yylineno	提供當前的行數信息。（lexer不一定支持。）

 

yylex()	這一函數開始分析。它由 Lex 自動生成。
yywrap()	這一函數在文件（或輸入）的末尾調用。如果函數的返回值是1，就停止解析。因此它可以用來解析多個文件。代碼可以寫在第三段，這就能夠解析多個文件。方法是使用 yyin 文件指針（見上表）指向不同的文件，直到所有的文件都被解析。最后，yywrap() 可以返回 1 來表示解析的結束。
yyless(int n)	這一函數可以用來送回除了前�n? 個字符外的所有讀出標記。
yymore()	這一函數告訴 Lexer 將下一個標記附加到當前標記后。

2.2.2 詞法分析

Lex編譯器將輸入的模式轉換成一個狀態轉換圖，並生成相應的實現代碼，並存放到文件lex.yy.c中，這些代碼模擬了狀態轉換圖。

在 linux 下，使用的是 flex 工具，與 lex 相同。

詞法分析需要修改 GCC 源碼，這里就不敘述了。

可以查看書籍《深入分析 GCC》第 4.5.2 節