这几天正在着手开发一个基于Vczh Library++ 3.0基础之上的新的正则表达式引擎。这个东西跟以前的功能没什么大变化，只是最基础的那一层被全部改了，而且还不兼容，所以要重写。不过都是自己的东西，无所谓了，不兼容也没什么问题。
下面介绍正则表达式引擎的语法分析过程。
首先我们要定义正则表达式的语法。详细的规则我就不说了，贴一张单元测试的代码就清楚了：
1 #include "..\..\Library\UnitTest\UnitTest.h"
2 #include "..\..\Library\Regex\RegexExpression.h"
3 #include "..\..\Library\Regex\RegexWriter.h"
4
5 using namespace vl;
6 using namespace vl::regex;
7 using namespace vl::regex_internal;
8
9 /***********************************************************************
10 语法分析
11 ***********************************************************************/
12
13 void RegexAssert(const wchar_t* input, RegexNode node)
14 {
15 Expression::Ref exp=ParseExpression(input);
16 TEST_ASSERT(exp->IsEqual(node.expression.Obj()));
17 }
18
19 TEST_CASE(TestRegexCharSetParsing)
20 {
21 RegexAssert(L"a", rC(L'a'));
22 RegexAssert(L"vczh", rC(L'v')+rC(L'c')+rC(L'z')+rC(L'h'));
23
24 RegexAssert(L"/d", r_d());
25 RegexAssert(L"/l", r_l());
26 RegexAssert(L"/w", r_w());
27 RegexAssert(L"/D", !r_d());
28 RegexAssert(L"/L", !r_l());
29 RegexAssert(L"/W", !r_w());
30 RegexAssert(L"/r", rC(L'\r'));
31 RegexAssert(L"/n", rC(L'\n'));
32 RegexAssert(L"/t", rC(L'\t'));
33
34 RegexAssert(L"\\d", r_d());
35 RegexAssert(L"\\l", r_l());
36 RegexAssert(L"\\w", r_w());
37 RegexAssert(L"\\D", !r_d());
38 RegexAssert(L"\\L", !r_l());
39 RegexAssert(L"\\W", !r_w());
40 RegexAssert(L"\\r", rC(L'\r'));
41 RegexAssert(L"\\n", rC(L'\n'));
42 RegexAssert(L"\\t", rC(L'\t'));
43
44 RegexAssert(L"^", rBegin());
45 RegexAssert(L"$", rEnd());
46 RegexAssert(L"[abc]", rC(L'a')%rC(L'b')%rC(L'c'));
47 RegexAssert(L"[0-9]", r_d());
48 RegexAssert(L"[a-zA-Z_]", r_l());
49 RegexAssert(L"[a-zA-Z0-9_]", r_w());
50 RegexAssert(L"[^0-9]", !r_d());
51 RegexAssert(L"[^a-zA-Z_]", !r_l());
52 RegexAssert(L"[^a-zA-Z0-9_]", !r_w());
53 }
54
55 TEST_CASE(TestRegexLoopParsing)
56 {
57 RegexAssert(L"/d+", r_d().Some());
58 RegexAssert(L"/d*", r_d().Any());
59 RegexAssert(L"/d?", r_d().Opt());
60 RegexAssert(L"/d{3}", r_d().Loop(3, 3));
61 RegexAssert(L"/d{3,5}", r_d().Loop(3, 5));
62 RegexAssert(L"/d{4,}", r_d().AtLeast(4));
63
64 RegexAssert(L"\\d+", r_d().Some());
65 RegexAssert(L"\\d*", r_d().Any());
66 RegexAssert(L"\\d?", r_d().Opt());
67 RegexAssert(L"\\d{3}", r_d().Loop(3, 3));
68 RegexAssert(L"\\d{3,5}", r_d().Loop(3, 5));
69 RegexAssert(L"\\d{4,}", r_d().AtLeast(4));
70 }
71
72 TEST_CASE(TestRegexFunctionParsing)
73 {
74 RegexAssert(L"(<name>/d+)", rCapture(L"name", r_d().Some()));
75 RegexAssert(L"(<&name>)", rUsing(L"name"));
76 RegexAssert(L"(<$name>)", rMatch(L"name"));
77 RegexAssert(L"(<$name;3>)", rMatch(L"name", 3));
78 RegexAssert(L"(<$3>)", rMatch(3));
79 RegexAssert(L"(=/d+)", +r_d().Some());
80 RegexAssert(L"(!/d+)", -r_d().Some());
81 RegexAssert(L"(=\\d+)", +r_d().Some());
82 RegexAssert(L"(!\\d+)", -r_d().Some());
83 }
84
85 TEST_CASE(TestRegexComplexParsing)
86 {
87 RegexAssert(L"a+(bc)*", rC(L'a').Some()+(rC(L'b')+rC(L'c')).Any());
88 RegexAssert(L"(1+2)*(3+4)", (rC(L'1').Some()+rC(L'2')).Any()+(rC(L'3').Some()+rC(L'4')));
89 RegexAssert(L"[a-zA-Z_][a-zA-Z0-9_]*", r_l()+r_w().Any());
90 RegexAssert(L"((<part>/d+).){3}(<part>/d+)", (rCapture(L"part", r_d().Some())+rC(L'.')).Loop(3, 3)+rCapture(L"part", r_d().Some()));
91 RegexAssert(L"ab|ac", (rC(L'a')+rC(L'b'))|(rC(L'a')+rC(L'c')));
92 RegexAssert(L"a(b|c)", rC(L'a')+(rC(L'b')|rC(L'c')));
93 RegexAssert(L"/.*[/r/n/t]", rAnyChar().Any()+(rC(L'\r')%rC(L'\n')%rC(L'\t')));
94
95 RegexAssert(L"((<part>\\d+).){3}(<part>\\d+)", (rCapture(L"part", r_d().Some())+rC(L'.')).Loop(3, 3)+rCapture(L"part", r_d().Some()));
96 RegexAssert(L"\\.*[\\r\\n\\t]", rAnyChar().Any()+(rC(L'\r')%rC(L'\n')%rC(L'\t')));
97 }
98
99 TEST_CASE(TestRegexCompleteParsingA)
100 {
101 WString code=L"(<#part>/d+)(<#capture>(<section>(<&part>)))((<&capture>).){3}(<&capture>)";
102 RegexExpression::Ref regex=ParseRegexExpression(code);
103
104 Expression::Ref part=r_d().Some().expression;
105 Expression::Ref capture=rCapture(L"section", rUsing(L"part")).expression;
106 Expression::Ref main=((rUsing(L"capture")+rC(L'.')).Loop(3, 3)+rUsing(L"capture")).expression;
107
108 TEST_ASSERT(regex->definitions.Count()==2);
109 TEST_ASSERT(regex->definitions.Keys()[0]==L"capture");
110 TEST_ASSERT(regex->definitions.Keys()[1]==L"part");
111
112 TEST_ASSERT(regex->definitions[L"part"]->IsEqual(part.Obj()));
113 TEST_ASSERT(regex->definitions[L"capture"]->IsEqual(capture.Obj()));
114 TEST_ASSERT(regex->expression->IsEqual(main.Obj()));
115 }
116
117 TEST_CASE(TestRegexCompleteParsingB)
118 {
119 WString code=L"((<part>\\d+).){3}(<part>\\d+)";
120 RegexExpression::Ref regex=ParseRegexExpression(code);
121
122 Expression::Ref main=((rCapture(L"part", r_d().Some())+rC(L'.')).Loop(3, 3)+rCapture(L"part", r_d().Some())).expression;
123
124 TEST_ASSERT(regex->definitions.Count()==0);
125 TEST_ASSERT(regex->expression->IsEqual(main.Obj()));
126 }
那些rCapture(L"part", r_d().Some()之类的东西是一个手写正则表达式引擎的工具，专门为了测试而开发的。这里我使用ParseExpression分析表达式变成语法树，然后我手写一棵语法树，两棵树进行对比，如果不相同那么语法分析器就有bug了。下面来看语法树的定义：
1 /***********************************************************************
2 Vczh Library++ 3.0
3 Developer: 陈梓瀚(vczh)
4 Regex::RegexExpression
5
6 Classes:
7 Expression ：表达式基类
8 CharSetExpression ：字符集表达式
9 LoopExpression ：循环表达式
10 SequenceExpression ：顺序表达式
11 AlternateExpression ：选择表达式
12 BeginExpression ：【非纯】字符串起始表达式
13 EndExpression ：【非纯】字符串末尾表达式
14 CaptureExpression ：【非纯】捕获表达式
15 MatchExpression ：【非纯】匹配表达式
16 PositiveExpression ：【非纯】正向预查表达式
17 NegativeExpression ：【非纯】反向预查表达式
18 UsingExpression ：引用表达式
19
20 RegexExpression ：正则表达式
21
22 Functions:
23 ParseRegexExpression ：将字符串分析为RegexExpression对象，如果语法有问题则抛异常
24 ***********************************************************************/
25
26 #ifndef VCZH_REGEX_REGEXEXPRESSION
27 #define VCZH_REGEX_REGEXEXPRESSION
28
29 #include "RegexData.h"
30
31 namespace vl
32 {
33 namespace regex_internal
34 {
35
36 /***********************************************************************
37 正则表达式表达式树
38 ***********************************************************************/
39
40 class Expression : public Object, private NotCopyable
41 {
42 public:
43 typedef Ptr<Expression> Ref;
44 typedef Dictionary<WString, Expression::Ref> Map;
45
46 virtual bool IsEqual(Expression* target)=0;
47 };
48
49 class CharSetExpression : public Expression
50 {
51 public:
52 CharRange::List ranges;
53 bool reverse;
54
55 bool AddRangeWithConflict(CharRange range);
56 bool IsEqual(Expression* target);
57 };
58
59 class LoopExpression : public Expression
60 {
61 public:
62 Expression::Ref expression; //被循环表达式
63 int min; //下限
64 int max; //上限，-1代表无限
65
66 bool IsEqual(Expression* target);
67 };
68
69 class SequenceExpression : public Expression
70 {
71 public:
72 Expression::Ref left; //左表达式
73 Expression::Ref right; //右表达式
74
75 bool IsEqual(Expression* target);
76 };
77
78 class AlternateExpression : public Expression
79 {
80 public:
81 Expression::Ref left; //左表达式
82 Expression::Ref right; //右表达式
83
84 bool IsEqual(Expression* target);
85 };
86
87 class BeginExpression: public Expression
88 {
89 public:
90
91 bool IsEqual(Expression* target);
92 };
93
94 class EndExpression : public Expression
95 {
96 public:
97
98 bool IsEqual(Expression* target);
99 };
100
101 class CaptureExpression : public Expression
102 {
103 public:
104 WString name; //捕获名，空代表缺省捕获
105 Expression::Ref expression; //被捕获表达式
106
107 bool IsEqual(Expression* target);
108 };
109
110 class MatchExpression : public Expression
111 {
112 public:
113 WString name; //捕获名，空代表缺省捕获
114 int index; //捕获序号，-1代表非空捕获的所有项
115
116 bool IsEqual(Expression* target);
117 };
118
119 class PositiveExpression : public Expression
120 {
121 public:
122 Expression::Ref expression; //正向匹配表达式
123
124 bool IsEqual(Expression* target);
125 };
126
127 class NegativeExpression : public Expression
128 {
129 public:
130 Expression::Ref expression; //反向匹配表达式
131
132 bool IsEqual(Expression* target);
133 };
134
135 class UsingExpression : public Expression
136 {
137 public:
138 WString name; //引用名
139
140 bool IsEqual(Expression* target);
141 };
142
143 class RegexExpression : public Object, private NotCopyable
144 {
145 public:
146 typedef Ptr<RegexExpression> Ref;
147
148 Expression::Map definitions; //命名子表达式
149 Expression::Ref expression; //主表达式
150 };
151
152 /***********************************************************************
153 辅助函数
154 ***********************************************************************/
155
156 extern Ptr<LoopExpression> ParseLoop(const wchar_t*& input);
157 extern Ptr<Expression> ParseCharSet(const wchar_t*& input);
158 extern Ptr<Expression> ParseFunction(const wchar_t*& input);
159 extern Ptr<Expression> ParseUnit(const wchar_t*& input);
160 extern Ptr<Expression> ParseJoin(const wchar_t*& input);
161 extern Ptr<Expression> ParseAlt(const wchar_t*& input);
162 extern Ptr<Expression> ParseExpression(const wchar_t*& input);
163 extern RegexExpression::Ref ParseRegexExpression(const WString& code);
164 }
165 }
166
167 #endif
树的定义还是很直观的，语法里面有什么表达式，树就有什么类。将来的生成DFA的过程就会跟IsEqual一样建立在虚函数之上，一路递归下去。当然匹配过程是不能递归的。由于IsEqual很简单，就是比较一个节点跟自己是否相等，就不展示了，接下来展示分析的过程。首先我们来看一些辅助函数：
1 bool IsChar(const wchar_t*& input, wchar_t c)
2 {
3 if(*input==c)
4 {
5 input++;
6 return true;
7 }
8 else
9 {
10 return false;
11 }
12 }
13
14 bool IsChars(const wchar_t*& input, wchar_t* chars, wchar_t& c)
15 {
16 const wchar_t* position=wcschr(chars, *input);
17 if(position)
18 {
19 c=*input++;
20 return true;
21 }
22 else
23 {
24 return false;
25 }
26 }
27
28 bool IsStr(const wchar_t*& input, wchar_t* str)
29 {
30 size_t len=wcslen(str);
31 if(wcsncmp(input, str, len)==0)
32 {
33 input+=len;
34 return true;
35 }
36 else
37 {
38 return false;
39 }
40 }
41
42 bool IsChars(const wchar_t*& input, wchar_t* chars)
43 {
44 wchar_t c;
45 return IsChars(input, chars, c);
46 }
47
48 bool IsPositiveInteger(const wchar_t*& input, int& number)
49 {
50 bool readed=false;
51 number=0;
52 while(L'0'<=*input && *input<=L'9')
53 {
54 number=number*10+(*input++)-L'0';
55 readed=true;
56 }
57 return readed;
58 }
59
60 bool IsName(const wchar_t*& input, WString& name)
61 {
62 const wchar_t* read=input;
63 if((L'A'<=*read && *read<=L'Z') || (L'a'<=*read && *read<=L'z') || *read==L'_')
64 {
65 read++;
66 while((L'A'<=*read && *read<=L'Z') || (L'a'<=*read && *read<=L'z') || (L'0'<=*read && *read<=L'9') || *read==L'_')
67 {
68 read++;
69 }
70 }
71 if(input==read)
72 {
73 return false;
74 }
75 else
76 {
77 name=WString(input, read-input);
78 input=read;
79 return true;
80 }
81 }
这些函数有一个特点，都是输入一个指针然后输出结果。如果匹配正确那么移动指针返回true，失败返回false指针不移动。于是我们就可以来看看如何处理一个Loop的分析过程。Loop主要指的是循环的后缀，有+、*、?、{a}、{a,}和{a,b}。ParseLoop函数返回LoopExpression对象，但是里面只有循环信息是填满的。循环的对象暂时不处理。
1 Ptr<LoopExpression> ParseLoop(const wchar_t*& input)
2 {
3 int min=0;
4 int max=0;
5 if(!*input)
6 {
7 return 0;
8 }
9 else if(IsChar(input, L'+'))
10 {
11 min=1;
12 max=-1;
13 }
14 else if(IsChar(input, L'*'))
15 {
16 min=0;
17 max=-1;
18 }
19 else if(IsChar(input, L'?'))
20 {
21 min=0;
22 max=1;
23 }
24 else if(IsChar(input, L'{'))
25 {
26 if(IsPositiveInteger(input, min))
27 {
28 if(IsChar(input, L','))
29 {
30 if(!IsPositiveInteger(input, max))
31 {
32 max=-1;
33 }
34 }
35 else
36 {
37 max=min;
38 }
39 if(!IsChar(input, L'}'))
40 {
41 goto THROW_EXCEPTION;
42 }
43 }
44 else
45 {
46 goto THROW_EXCEPTION;
47 }
48 }
49 else
50 {
51 return 0;
52 }
53 LoopExpression* expression=new LoopExpression;
54 expression->min=min;
55 expression->max=max;
56 return expression;
57 THROW_EXCEPTION:
58 throw ArgumentException(L"正则表达式语法错误，循环格式不合法。", L"vl::regex_internal::ParseLoop", L"input");
59 }
接下来就是分析字符集了。字符集有集合、^、$和字符等等。ParseCharSet函数返回一个完整的Expression对象：
1 Ptr<Expression> ParseCharSet(const wchar_t*& input)
2 {
3 if(!*input)
4 {
5 return 0;
6 }
7 else if(IsChar(input, L'^'))
8 {
9 return new BeginExpression;
10 }
11 else if(IsChar(input, L'$'))
12 {
13 return new EndExpression;
14 }
15 else if(IsChar(input, L'\\') || IsChar(input, L'/'))
16 {
17 Ptr<CharSetExpression> expression=new CharSetExpression;
18 expression->reverse=false;
19 switch(*input)
20 {
21 case L'.':
22 expression->ranges.Add(CharRange(1, 65535));
23 break;
24 case L'r':
25 expression->ranges.Add(CharRange(L'\r', L'\r'));
26 break;
27 case L'n':
28 expression->ranges.Add(CharRange(L'\n', L'\n'));
29 break;
30 case L't':
31 expression->ranges.Add(CharRange(L'\t', L'\t'));
32 break;
33 case L'\\':case L'/':case L'(':case L')':case L'+':case L'*':case L'?':
34 case L'{':case L'}':case L'[':case L']':case L'<':case L'>':
35 case L'^':case L'$':case L'!':case L'=':
36 expression->ranges.Add(CharRange(*input, *input));
37 break;
38 case L'S':
39 expression->reverse=true;
40 case L's':
41 expression->ranges.Add(CharRange(L' ', L' '));
42 expression->ranges.Add(CharRange(L'\r', L'\r'));
43 expression->ranges.Add(CharRange(L'\n', L'\n'));
44 expression->ranges.Add(CharRange(L'\t', L'\t'));
45 break;
46 case L'D':
47 expression->reverse=true;
48 case L'd':
49 expression->ranges.Add(CharRange(L'0', L'9'));
50 break;
51 case L'L':
52 expression->reverse=true;
53 case L'l':
54 expression->ranges.Add(CharRange(L'_', L'_'));
55 expression->ranges.Add(CharRange(L'A', L'Z'));
56 expression->ranges.Add(CharRange(L'a', L'z'));
57 break;
58 case L'W':
59 expression->reverse=true;
60 case L'w':
61 expression->ranges.Add(CharRange(L'_', L'_'));
62 expression->ranges.Add(CharRange(L'0', L'9'));
63 expression->ranges.Add(CharRange(L'A', L'Z'));
64 expression->ranges.Add(CharRange(L'a', L'z'));
65 break;
66 default:
67 throw ArgumentException(L"正则表达式语法错误：非法转义符。", L"vl::regex_internal::ParseCharSet", L"input");
68 }
69 input++;
70 return expression;
71 }
72 else if(IsChar(input, L'['))
73 {
74 Ptr<CharSetExpression> expression=new CharSetExpression;
75 if(IsChar(input, L'^'))
76 {
77 expression->reverse=true;
78 }
79 else
80 {
81 expression->reverse=false;
82 }
83 bool midState=false;
84 wchar_t a=L'\0';
85 wchar_t b=L'\0';
86 while(true)
87 {
88 if(IsChar(input, L'\\') || IsChar(input, L'/'))
89 {
90 wchar_t c=L'\0';
91 switch(*input)
92 {
93 case L'r':
94 c=L'\r';
95 break;
96 case L'n':
97 c=L'\n';
98 break;
99 case L't':
100 c=L'\t';
101 break;
102 case L'-':case L'[':case L']':case L'\\':case L'/':case L'^':case L'$':
103 c=*input;
104 break;
105 default:
106 throw ArgumentException(L"正则表达式语法错误：在[]内部能使用的转义符只有\"rnt-[]\\/\"。", L"vl::regex_internal::ParseCharSet", L"input");
107 }
108 input++;
109 midState?b=c:a=c;
110 midState=!midState;
111 }
112 else if(IsChars(input, L"-]"))
113 {
114 goto THROW_EXCEPTION;
115 }
116 else if(*input)
117 {
118 midState?b=*input++:a=*input++;
119 midState=!midState;
120 }
121 else
122 {
123 goto THROW_EXCEPTION;
124 }
125 if(IsChar(input, L']'))
126 {
127 if(midState)
128 {
129 b=a;
130 }
131 if(!expression->AddRangeWithConflict(CharRange(a, b)))
132 {
133 goto THROW_EXCEPTION;
134 }
135 break;
136 }
137 else if(IsChar(input, L'-'))
138 {
139 if(!midState)
140 {
141 goto THROW_EXCEPTION;
142 }
143 }
144 else
145 {
146 if(midState)
147 {
148 b=a;
149 }
150 if(expression->AddRangeWithConflict(CharRange(a, b)))
151 {
152 midState=false;
153 }
154 else
155 {
156 goto THROW_EXCEPTION;
157 }
158 }
159 }
160 return expression;
161 THROW_EXCEPTION:
162 throw ArgumentException(L"正则表达式语法错误：字符集格式不合法。");
163 }
164 else if(IsChars(input, L"()+*?{}|"))
165 {
166 input--;
167 return 0;
168 }
169 else
170 {
171 CharSetExpression* expression=new CharSetExpression;
172 expression->reverse=false;
173 expression->ranges.Add(CharRange(*input, *input));
174 input++;
175 return expression;
176 }
177 }
然后是分析高级功能的函数，这些功能主要有捕获、匹配、正向预查、反向预查和表达式引用等：
1 Ptr<Expression> ParseFunction(const wchar_t*& input)
2 {
3 if(IsStr(input, L"(="))
4 {
5 Ptr<Expression> sub=ParseExpression(input);
6 if(!IsChar(input, L')'))
7 {
8 goto NEED_RIGHT_BRACKET;
9 }
10 PositiveExpression* expression=new PositiveExpression;
11 expression->expression=sub;
12 return expression;
13 }
14 else if(IsStr(input, L"(!"))
15 {
16 Ptr<Expression> sub=ParseExpression(input);
17 if(!IsChar(input, L')'))
18 {
19 goto NEED_RIGHT_BRACKET;
20 }
21 NegativeExpression* expression=new NegativeExpression;
22 expression->expression=sub;
23 return expression;
24 }
25 else if(IsStr(input, L"(<&"))
26 {
27 WString name;
28 if(!IsName(input, name))
29 {
30 goto NEED_NAME;
31 }
32 if(!IsChar(input, L'>'))
33 {
34 goto NEED_GREATER;
35 }
36 if(!IsChar(input, L')'))
37 {
38 goto NEED_RIGHT_BRACKET;
39 }
40 UsingExpression* expression=new UsingExpression;
41 expression->name=name;
42 return expression;
43 }
44 else if(IsStr(input, L"(<$"))
45 {
46 WString name;
47 int index=-1;
48 if(IsName(input, name))
49 {
50 if(IsChar(input, L';'))
51 {
52 if(!IsPositiveInteger(input, index))
53 {
54 goto NEED_NUMBER;
55 }
56 }
57 }
58 else if(!IsPositiveInteger(input, index))
59 {
60 goto NEED_NUMBER;
61 }
62 if(!IsChar(input, L'>'))
63 {
64 goto NEED_GREATER;
65 }
66 if(!IsChar(input, L')'))
67 {
68 goto NEED_RIGHT_BRACKET;
69 }
70 MatchExpression* expression=new MatchExpression;
71 expression->name=name;
72 expression->index=index;
73 return expression;
74 }
75 else if(IsStr(input, L"(<"))
76 {
77 WString name;
78 if(!IsName(input, name))
79 {
80 goto NEED_NAME;
81 }
82 if(!IsChar(input, L'>'))
83 {
84 goto NEED_GREATER;
85 }
86 Ptr<Expression> sub=ParseExpression(input);
87 if(!IsChar(input, L')'))
88 {
89 goto NEED_RIGHT_BRACKET;
90 }
91 CaptureExpression* expression=new CaptureExpression;
92 expression->name=name;
93 expression->expression=sub;
94 return expression;
95 }
96 else if(IsChar(input, L'('))
97 {
98 Ptr<Expression> sub=ParseExpression(input);
99 if(!IsChar(input, L')'))
100 {
101 goto NEED_RIGHT_BRACKET;
102 }
103 return sub;
104 }
105 else
106 {
107 return 0;
108 }
109 NEED_RIGHT_BRACKET:
110 throw ArgumentException(L"正则表达式语法错误：缺少右小括号\")\"。", L"vl::regex_internal::ParseFunction", L"input");
111 NEED_GREATER:
112 throw ArgumentException(L"正则表达式语法错误：缺少右尖括号\">\"。", L"vl::regex_internal::ParseFunction", L"input");
113 NEED_NAME:
114 throw ArgumentException(L"正则表达式语法错误：缺少标识符。", L"vl::regex_internal::ParseFunction", L"input");
115 NEED_NUMBER:
116 throw ArgumentException(L"正则表达式语法错误：缺少数字。", L"vl::regex_internal::ParseFunction", L"input");
117 }
这些琐碎的事情做完之后，就可以着手进行分析的大框架的开发了。表达式由基础表达式、顺序表达式和选择表达式构成。这个东西跟四则运算的分析一模一样，于是代码轻松搞定，基本上都是些套路：
1 Ptr<Expression> ParseUnit(const wchar_t*& input)
2 {
3 Ptr<Expression> unit=ParseCharSet(input);
4 if(!unit)
5 {
6 unit=ParseFunction(input);
7 }
8 if(!unit)
9 {
10 return 0;
11 }
12 Ptr<LoopExpression> loop;
13 while(loop=ParseLoop(input))
14 {
15 loop->expression=unit;
16 unit=loop;
17 }
18 return unit;
19 }
20
21 Ptr<Expression> ParseJoin(const wchar_t*& input)
22 {
23 Ptr<Expression> expression=ParseUnit(input);
24 while(true)
25 {
26 Ptr<Expression> right=ParseUnit(input);
27 if(right)
28 {
29 SequenceExpression* sequence=new SequenceExpression;
30 sequence->left=expression;
31 sequence->right=right;
32 expression=sequence;
33 }
34 else
35 {
36 break;
37 }
38 }
39 return expression;
40 }
41
42 Ptr<Expression> ParseAlt(const wchar_t*& input)
43 {
44 Ptr<Expression> expression=ParseJoin(input);
45 while(true)
46 {
47 if(IsChar(input, L'|'))
48 {
49 Ptr<Expression> right=ParseJoin(input);
50 if(right)
51 {
52 AlternateExpression* alternate=new AlternateExpression;
53 alternate->left=expression;
54 alternate->right=right;
55 expression=alternate;
56 }
57 else
58 {
59 throw ArgumentException(L"正则表达式语法错误：缺少表达式。", L"vl::regex_internal::ParseAlt", L"input");
60 }
61 }
62 else
63 {
64 break;
65 }
66 }
67 return expression;
68 }
69
70 Ptr<Expression> ParseExpression(const wchar_t*& input)
71 {
72 return ParseAlt(input);
73 }
最后就是主函数了。首先分析一下有多少个表达式命名，然后后面接着一条主表达式。这样做可以把相同的东西的重复消除，当然这个语法也是我独有的：
1 RegexExpression::Ref ParseRegexExpression(const WString& code)
2 {
3 RegexExpression::Ref regex=new RegexExpression;
4 const wchar_t* start=code.Buffer();
5 const wchar_t* input=start;
6 try
7 {
8 while(IsStr(input, L"(<#"))
9 {
10 WString name;
11 if(!IsName(input, name))
12 {
13 throw ArgumentException(L"正则表达式语法错误：缺少标识符。", L"vl::regex_internal::ParseRegexExpression", L"code");
14 }
15 if(!IsChar(input, L'>'))
16 {
17 throw ArgumentException(L"正则表达式语法错误：缺少右尖括号\">\"。", L"vl::regex_internal::ParseFunction", L"input");
18 }
19 Ptr<Expression> sub=ParseExpression(input);
20 if(!IsChar(input, L')'))
21 {
22 throw ArgumentException(L"正则表达式语法错误：缺少右小括号\")\"。", L"vl::regex_internal::ParseFunction", L"input");
23 }
24 if(regex->definitions.Keys().Contains(name))
25 {
26 throw ArgumentException(L"正则表达式语法错误：子表达式名称("+name+L")重复定义。", L"vl::regex_internal::ParseFunction", L"input");
27 }
28 else
29 {
30 regex->definitions.Add(name, sub);
31 }
32 }
33 regex->expression=ParseExpression(input);
34 if(!regex->expression)
35 {
36 throw ArgumentException(L"正则表达式语法错误：缺少表达式。", L"vl::regex_internal::ParseUnit", L"input");
37 }
38 if(*input)
39 {
40 throw ArgumentException(L"正则表达式语法错误：遇到多余的符号。", L"vl::regex_internal::ParseUnit", L"input");
41 }
42 return regex;
43 }
44 catch(const ArgumentException& e)
45 {
46 throw ParsingException(e.GetMessage(), code, input-start);
47 }
48 }
至此正则表达式的分析就结束了。接下来可以开始做DFA的生成了。
posted on 2009-10-15 05:53
陈梓瀚(vczh) 阅读(3110)
评论(4) 编辑 收藏 引用 所属分类:
VL++3.0开发纪事