一.ANTRL 是什么
ANTLR 是用JAVA寫的語言識別工具，它用來聲明語言的語法，簡稱為“元語言”(meta-language)。
ANTLR 語法識別一般分為二個階段：
1.詞法分析階段 （lexical analysis)
對應的分析程序叫做 lexer ，負責將符號（token）分組成符號類（token class or token type）
2.解析階段
根據詞法，構建出一棵分析樹（parse tree）或叫語法樹（syntax tree）
ANTLR 的直觀印象，就像是在走迷宮，或者說是電路板更准確，最終只有一條最優路可通達開始與結束，中間的各種叉路與開關，就是我們所編寫的規則，下面是我編寫的一個SQL查詢的簡單實現，截取一部分圖示：
ANTLR 官方網址 http://www.antlr.org/
ANTLR 官方 Github https://github.com/antlr/antlr4
大量語法文件例子 https://github.com/antlr/grammars-v4
二.主要應用場景
1.定制特定領域語言（DSL)
類似hibernate中的HQL，用DSL來定義要執行操作的高層語法，這種語法接近人可理解的語言，由DSL到計算機語言的翻譯則通過ANTLR來做，可在ANTLR的結構語言中定義DSL命令具體要執行何種操作。
2.文本解析 可利用ANTLR解析JSON，HTML，XML，EDIFACT，或自定義的報文格式。解析出來的信息需要做什么處理也可以在結構文件中定義。
3.數學計算 加減乘除，線性方程，幾何運算，微積分等等
三.ANTRL 語法
1.結構
/** Optional javadoc style comment */ grammar Name; options {...} import ... ; tokens {...} channels {...} // lexer only @actionName {...} rule1 // parser and lexer rules, possibly intermingled ... ruleN
grammar
聲明語法頭，類似於java類的定義
grammar SPL;
options
選項，如語言選項，輸出選項，回溯選項，記憶選項等等
options { output=AST; language=Java; }
options { tokenVocab=MySqlLexer; }
@actionName
動作（Actions）實際上是用目標語言寫成的、嵌入到規則中的代碼（以花括號包裹）。它們通常直接操作輸入的標號，但是他們也可以用來調用相應的外部代碼。屬性，到目前為止我的理解還不多，感覺像是C++中類里面的成員。常用屬性或動作說明：
-
@header { package com.zetyun.aiops.antlr.test; }
這個動作很有用，即在運行腳本后，生成的類中自動帶上這個包路徑，避免了手動加入的麻煩。
-
@members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}
-
@after {System.out.println("after matching rule; before finally");}
rule
這是核心，表示規則，以 “:” 開始， “;” 結束， 多規則以 "|" 分隔。
ID : [a-zA-Z0-9|'_']+ ; //數字 STR:'\'' ('\'\'' | ~('\''))* '\''; WS: [ \t\n\r]+ -> skip ; // 系統級規則 ，即忽略換行與空格 sqlStatement : ddlStatement | dmlStatement | transactionStatement | replicationStatement | preparedStatement | administrationStatement | utilityStatement ;
2.注釋
- 單行、多行、javadoc風格
- javadoc風格只能在開頭使用
/** * This grammar is an example illustrating the three kinds * of comments. */ grammar T; /* a multi-line comment */ /** This rule matches a declarator for my language */ decl : ID ; // match a variable name
3.標識符
- 符號(Token)名大寫開頭
- 解析規則(Parser rule)名小寫開頭,后面可以跟字母、數字、下划線
ID, LPAREN, RIGHT_CURLY // token names expr, simpleDeclarator, d2, header_file // rule names
四.遍歷模式
1、Listener (觀察者模式，通過結點監聽，觸發處理方法)
- 程序員不需要顯示定義遍歷語法樹的順序，實現簡單
- 缺點，不能顯示控制遍歷語法樹的順序
- 動作代碼與文法產生式解耦，利於文法產生式的重用
- 沒有返回值，需要使用map、棧等結構在節點間傳值
2、Visitor (訪問者模式，主動遍歷)
- 程序員可以顯示定義遍歷語法樹的順序
- 不需要與antlr遍歷類ParseTreeWalker一起使用，直接對tree操作
- 動作代碼與文法產生式解耦，利於文法產生式的重用
- visitor方法可以直接返回值，返回值的類型必須一致，不需要使用map這種節點間傳值方式，效率高
五.示例
計算器之四則運算（官方例子照抄）
1、新建g4文件，如Math.g4
grammar Math; @header{package com.zetyun.aiops.core.math;} prog : stat+; stat: expr NEWLINE # printExpr | ID '=' expr NEWLINE # assign | NEWLINE # blank ; expr: expr op=('*'|'/') expr # MulDiv | expr op=('+'|'-') expr # AddSub | INT # int | ID # id | '(' expr ')' # parens ; MUL : '*' ; // assigns token name to '*' used above in grammar DIV : '/' ; ADD : '+' ; SUB : '-' ; ID : [a-zA-Z]+ ; INT : [0-9]+ ; NEWLINE:'\r'? '\n' ; WS : [ \t]+ -> skip;
2、運行Math.g4文件，生成.java文件
如果沒有安裝eclipse antlr插件的話，根據如下指示操作即可：
help -> Eclipse Marketplace -> 搜索 Antlr -> 選中合適版本，安裝即可。
3、編寫測試文件，檢驗語法，驗證結果等
package com.zetyun.aiops.test; import org.antlr.v4.runtime.CharStream; import org.antlr.v4.runtime.CharStreams; import org.antlr.v4.runtime.CommonTokenStream; import org.antlr.v4.runtime.tree.ParseTree; import com.zetyun.aiops.core.math.MathLexer; import com.zetyun.aiops.core.math.MathParser; public class Math { public static void main(String[] args) { CharStream input = CharStreams.fromString("12*2+12\r\n"); MathLexer lexer=new MathLexer(input); CommonTokenStream tokens = new CommonTokenStream(lexer); MathParser parser = new MathParser(tokens); ParseTree tree = parser.prog(); // parse MathVisitorTest vt=new MathVisitorTest(); vt.visit(tree); } }
4、語法樹分析
-
1) 下載antlr4運行包，這里我選擇的版本是 antlr-4.7-complete.jar
-
2) 新建運行腳本 antlr4.bat 和 grun.bat，放置於任意目錄，如 E:/tools/antlr4
antlr4.bat 內容：
java org.antlr.v4.Tool %*grun.bat 內容：
java org.antlr.v4.gui.TestRig %*注：antlr依賴於java，如果java環境變量沒有設置，請先行設置好。
-
3) 設置antlr4的系統環境變量(classpath 和 path)
classpath：
path (.bat所在目錄) :
-
4) 選擇要分析的g4文件，運行命令生成相關java文件與token文件
D:\workspace\AntlrTest\test\math> antlr4 Math.g4
- 5) 編譯java文件
D:\workspace\AntlrTest\test\math>javac ./*.java
- 6) 分析語法樹
輸入grun命令回車，在命令行輸入你要測試的語法，再回車，按Ctrl+z 后回車。
D:\workspace\AntlrTest\test\math>grun Math expr -gui
D:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui
(2+3)*5-25/5
^Z
執行完命令后，會出現GUI窗口：
通過語法樹，我們可以直觀的知道語法是否正確，以便隨時調整。