| Word |
常量： |
true， |
10， ‘A’ |
@H_502_61@
1， 运算符 + -* /
2， 界限符 {， }， ；
特殊符号：
3， 格式符 EOF
那么如何实现词法程序：
需求：
描述方式
算法正则表达式
单词的描述工具分为两种：
自动机
字母表：∑。程序中所有可能出现的符号。A / - j 等等
符号串：符号组成的任意有穷序列
符号串的连接：
ɑ，β 分别为字母表组成的符号串，ɑ = abc， β = def
则两者的连接为：ɑβ = abcdef
符号串的方幂
符号串集合的乘积
A， B分别是两个符号串集合，其中A = {ab,cd},B = {ef,gh}
则A与B的的乘积还是一个集合{abef,abgh,cdef,cdgh}
而方幂则表示为
假如符号串集合为A = {a,b}
则A0={e},A1=A, A2=AA,…,An=AA… A
A的3次方幂为AAA = (AA)A ={aa,ab,ba,bb}{a,b} = {aaa,aba,baa,bba,aab,abb,bab,bbb}
符号串的正闭包
A是符号串集合，则A+称为符号串集合A的正闭包
A+ = A+=A1∪A2∪A3 …∪An…
符号串集合的的星闭包
A* =A0∪A1∪A2∪A3 …∪An…=A0∪A+
正则表达式的定义：
设∑为字母表，RE为定义在∑的正则表达式，则有
正则表达式对应的语义解释被称作正则集，正则集也是正则表达式所对应的语言。
在词法分析中，正则表达式是针对单词进行描述的，为此，我们要建立一种从正则表达式到字符串集合的映射关系。
使得正则表达式的语义解释描述成字符串的形式。
设e,e1,e2为∑上的正则表达式，则e所对应的正则集L(e)取值如下:
正则表达式的性质：
+ = * > . > |运算优先级
A | B = B | A
A | (B | C) = A ( B | C) |的可结合性
A|(BC) = (AB) | (AC) 连接的可分配性
A** = A* 幂的等价性
用正则表达式表示描述词法：
L= A|BC|D|……|a|b|……|z
D = 0|1|2|……|9 ， D1 = 1|2|3|……|9
标识符：（L）|(L|D)*
常数： （+|-|Φ）|D1D*|0
实数： （+|-|Φ）|D1D*|0.D*
特殊符号：使用枚举
保留字： while | if | do|……
运算符： +|-|*|……
分界符： { | } | ；|……
控制符： \t \n
当然正则表达式不仅仅可以用于词法分析也可以在其它的地方使用，例如手机号码归属地，程序分析技术等等。
正则表达式的局限性：
正则表达式缺乏对对称性字符串的表达能力。
