詞法分析程序（Lexical Analyzer）要求：
- 從左至右掃描構成源程序的字符流
- 識別出有詞法意義的單詞（Lexemes）
- 返回單詞記錄（單詞類別，單詞本身）
- 濾掉空格
- 跳過注釋
- 發現詞法錯誤
程序結構：
輸入：字符流（什么輸入方式，什么數據結構保存）
處理：
–遍歷（什么遍歷方式）
–詞法規則
輸出：單詞流（什么輸出形式）
–二元組
單詞類別：
1.標識符（10）
2.無符號數（11）
3.保留字（一詞一碼）
4.運算符（一詞一碼）
5.界符（一詞一碼）
| 單詞符號 |
種別碼 |
單詞符號 |
種別碼 |
| begin |
1 |
: |
17 |
| if |
2 |
:= |
18 |
| then |
3 |
< |
20 |
| while |
4 |
<= |
21 |
| do |
5 |
<> |
22 |
| end |
6 |
> |
23 |
| l(l|d)* |
10 |
>= |
24 |
| dd* |
11 |
= |
25 |
| + |
13 |
; |
26 |
| - |
14 |
( |
27 |
| * |
15 |
) |
28 |
| / |
16 |
# |
0
|
1.詞法分析程序
1 import re
2
3
4 strs = "if sum >= 1000 then x : x - 1;#"+" "
5
6 types = {‘begin‘:1,
7 ‘if‘:2,
8 ‘then‘:3,
9 ‘while‘:4,
10 ‘do‘:5,
11 ‘end‘:6,
12 ‘l(l|d)*‘:10,
13 ‘dd*‘:11,
14 ‘+‘:13,
15 ‘-‘:14,
16 ‘*‘:15,
17 ‘/‘:16,
18 ‘:‘:17,
19 ‘:=‘:18,
20 ‘<‘:20,
21 ‘<=‘:21,
22 ‘<>‘:22,
23 ‘>‘:23,
24 ‘>=‘:24,
25 ‘=‘:25,
26 ‘;‘:26,
27 ‘(‘:27,
28 ‘)‘:28,
29 ‘#‘:0
30 }
31
32 if __name__ == ‘__main__‘:
33 # strs = input(‘請輸入程序代碼：‘)+" " #補位
34
35 index = 0
36 while index < len(strs):
37 keyIndex = 0
38 for key in types.keys():
39 if index+len(key) < len(strs):
40 if strs[index:index+len(key)] == key and not re.match(‘^[=a-zA-Z0-9_-]$‘, strs[index+len(key)]):
41 if not(strs[index] == ‘=‘ and re.match(‘^[<>]$‘, strs[index-1])):
42 ss = strs[index:index+len(key)]
43 print((ss, types.get(ss)))
44 elif re.match(‘^[a-zA-Z0-9_]+‘, strs[index:]):
45 ss = re.match(‘^([a-zA-Z0-9_]+)‘, strs[index:]).group()
46 if not types.get(ss):
47 if re.match(‘[a-zA-Z]+‘, ss):
48 print((ss, ‘標識符‘))
49 elif re.match(‘\d+‘, ss):
50 print((ss, ‘數字‘))
51 else:
52 print((ss, ‘其他‘))
53 index += len(ss)
54 keyIndex+=1
55 index+=1
2.運行結果展示
