コード例 #1
0
ファイル: Alloc.cs プロジェクト: petrroll/Parsers
        public static NfaPair NewNLPair(Spec spec)
        {
            NfaPair nfaPair = Alloc.NewNfaPair();

            nfaPair.end   = Alloc.NewNfa(spec);
            nfaPair.start = Alloc.NewNfa(spec);
            Nfa start = nfaPair.start;

            start.Next = Alloc.NewNfa(spec);
            Nfa next = start.Next;

            next.Edge = '￾';
            next.SetCharSet(new CharSet());
            next.GetCharSet().add(10);
            next.Next     = nfaPair.end;
            start.Sibling = Alloc.NewNfa(spec);
            Nfa sibling = start.Sibling;

            sibling.Edge = '\r';
            sibling.Next = Alloc.NewNfa(spec);
            Nfa next2 = sibling.Next;

            next2.Next         = null;
            next2.Sibling      = Alloc.NewNfa(spec);
            next2.Sibling.Edge = '\n';
            next2.Sibling.Next = nfaPair.end;
            return(nfaPair);
        }
コード例 #2
0
ファイル: MakeNfa.cs プロジェクト: notfarfromorion/Lex
/*
 * Function: cat_expr
 * Description: Recursive descent regular expression parser.
 */
        private static void cat_expr(NfaPair pair)
        {
            NfaPair e2_pair;

#if DESCENT_DEBUG
            Utility.enter("cat_expr", spec.lexeme, spec.current_token);
#endif

#if DEBUG
            Utility.assert(null != pair);
#endif

            e2_pair = Alloc.NewNfaPair();

            if (first_in_cat(spec.current_token))
            {
                factor(pair);
            }

            while (first_in_cat(spec.current_token))
            {
                factor(e2_pair);

                /* Destroy */
                pair.end.mimic(e2_pair.start);
                discardNfa(e2_pair.start);

                pair.end = e2_pair.end;
            }

#if DESCENT_DEBUG
            Utility.leave("cat_expr", spec.lexeme, spec.current_token);
#endif
        }
コード例 #3
0
        private static void cat_expr(NfaPair pair)
        {
            NfaPair nfaPair = Alloc.NewNfaPair();

            if (MakeNfa.first_in_cat(MakeNfa.spec.current_token))
            {
                MakeNfa.factor(pair);
            }
            while (MakeNfa.first_in_cat(MakeNfa.spec.current_token))
            {
                MakeNfa.factor(nfaPair);
                pair.end.mimic(nfaPair.start);
                MakeNfa.discardNfa(nfaPair.start);
                pair.end = nfaPair.end;
            }
        }
コード例 #4
0
        private static Nfa rule()
        {
            int     num     = 0;
            NfaPair nfaPair = Alloc.NewNfaPair();
            Nfa     nfa;
            Nfa     end;

            if (MakeNfa.spec.current_token == Tokens.AT_BOL)
            {
                num |= 1;
                MakeNfa.gen.Advance();
                MakeNfa.expr(nfaPair);
                nfa      = Alloc.NewNfa(MakeNfa.spec);
                nfa.Edge = MakeNfa.spec.BOL;
                nfa.Next = nfaPair.start;
                end      = nfaPair.end;
            }
            else
            {
                MakeNfa.expr(nfaPair);
                nfa = nfaPair.start;
                end = nfaPair.end;
            }
            if (Tokens.AT_EOL == MakeNfa.spec.current_token)
            {
                MakeNfa.gen.Advance();
                NfaPair nfaPair2 = Alloc.NewNLPair(MakeNfa.spec);
                end.Next = Alloc.NewNfa(MakeNfa.spec);
                Nfa next = end.Next;
                next.Next         = nfaPair2.start;
                next.Sibling      = Alloc.NewNfa(MakeNfa.spec);
                next.Sibling.Edge = MakeNfa.spec.EOF;
                next.Sibling.Next = nfaPair2.end;
                end  = nfaPair2.end;
                num |= 2;
            }
            if (end == null)
            {
                Error.ParseError(Errors.ZERO, MakeNfa.gen.InputFilePath, MakeNfa.input.line_number);
            }
            end.SetAccept(MakeNfa.gen.packAccept());
            end.SetAnchor(num);
            return(nfa);
        }
コード例 #5
0
        private static void expr(NfaPair pair)
        {
            NfaPair nfaPair = Alloc.NewNfaPair();

            MakeNfa.cat_expr(pair);
            while (Tokens.OR == MakeNfa.spec.current_token)
            {
                MakeNfa.gen.Advance();
                MakeNfa.cat_expr(nfaPair);
                Nfa nfa = Alloc.NewNfa(MakeNfa.spec);
                nfa.Sibling      = nfaPair.start;
                nfa.Next         = pair.start;
                pair.start       = nfa;
                nfa              = Alloc.NewNfa(MakeNfa.spec);
                pair.end.Next    = nfa;
                nfaPair.end.Next = nfa;
                pair.end         = nfa;
            }
        }
コード例 #6
0
ファイル: MakeNfa.cs プロジェクト: notfarfromorion/Lex
/*
 * Function: factor
 * Description: Recursive descent regular expression parser.
 */
        private static void factor(NfaPair pair)
        {
            Nfa start = null;
            Nfa end   = null;

#if DESCENT_DEBUG
            Utility.enter("factor", spec.lexeme, spec.current_token);
#endif

            term(pair);

            if (Gen.CLOSURE == spec.current_token ||
                Gen.PLUS_CLOSE == spec.current_token ||
                Gen.OPTIONAL == spec.current_token)
            {
                start = Alloc.NewNfa(spec);
                end   = Alloc.NewNfa(spec);

                start.SetNext(pair.start);
                pair.end.SetNext(end);

                if (Gen.CLOSURE == spec.current_token ||
                    Gen.OPTIONAL == spec.current_token)
                {
                    start.SetSib(end);
                }

                if (Gen.CLOSURE == spec.current_token ||
                    Gen.PLUS_CLOSE == spec.current_token)
                {
                    pair.end.SetSib(pair.start);
                }

                pair.start = start;
                pair.end   = end;
                gen.Advance();
            }

#if DESCENT_DEBUG
            Utility.leave("factor", spec.lexeme, spec.current_token);
#endif
        }
コード例 #7
0
 private static void factor(NfaPair pair)
 {
     MakeNfa.term(pair);
     if (Tokens.CLOSURE == MakeNfa.spec.current_token || Tokens.PLUS_CLOSE == MakeNfa.spec.current_token || Tokens.OPTIONAL == MakeNfa.spec.current_token)
     {
         Nfa nfa  = Alloc.NewNfa(MakeNfa.spec);
         Nfa nfa2 = Alloc.NewNfa(MakeNfa.spec);
         nfa.Next      = pair.start;
         pair.end.Next = nfa2;
         if (MakeNfa.spec.current_token == Tokens.CLOSURE || MakeNfa.spec.current_token == Tokens.OPTIONAL)
         {
             nfa.Sibling = nfa2;
         }
         if (MakeNfa.spec.current_token == Tokens.CLOSURE || MakeNfa.spec.current_token == Tokens.PLUS_CLOSE)
         {
             pair.end.Sibling = pair.start;
         }
         pair.start = nfa;
         pair.end   = nfa2;
         MakeNfa.gen.Advance();
     }
 }
コード例 #8
0
ファイル: MakeNfa.cs プロジェクト: notfarfromorion/Lex
/*
 * Function: expr
 * Description: Recursive descent regular expression parser.
 */
        private static void expr(NfaPair pair)
        {
            NfaPair e2_pair;
            Nfa     p;

#if DESCENT_DEBUG
            Utility.enter("expr", spec.lexeme, spec.current_token);
#endif

#if DEBUG
            Utility.assert(null != pair);
#endif

            e2_pair = Alloc.NewNfaPair();

            cat_expr(pair);

            while (Gen.OR == spec.current_token)
            {
                gen.Advance();
                cat_expr(e2_pair);

                p = Alloc.NewNfa(spec);
                p.SetSib(e2_pair.start);
                p.SetNext(pair.start);
                pair.start = p;

                p = Alloc.NewNfa(spec);
                pair.end.SetNext(p);
                e2_pair.end.SetNext(p);
                pair.end = p;
            }

#if DESCENT_DEBUG
            Utility.leave("expr", spec.lexeme, spec.current_token);
#endif
        }
コード例 #9
0
ファイル: MakeNfa.cs プロジェクト: notfarfromorion/Lex
/*
 * Function: term
 * Description: Recursive descent regular expression parser.
 */
        private static void term(NfaPair pair)
        {
            Nfa  start;
            bool isAlphaL;

#if DESCENT_DEBUG
            Utility.enter("term", spec.lexeme, spec.current_token);
#endif

            if (Gen.OPEN_PAREN == spec.current_token)
            {
                gen.Advance();
                expr(pair);

                if (Gen.CLOSE_PAREN == spec.current_token)
                {
                    gen.Advance();
                }
                else
                {
                    Error.parse_error(Error.E_SYNTAX, input.line_number);
                }
            }
            else
            {
                start      = Alloc.NewNfa(spec);
                pair.start = start;

                start.SetNext(Alloc.NewNfa(spec));
                pair.end = start.GetNext();

                if (Gen.L == spec.current_token && Char.IsLetter(spec.lexeme))
                {
                    isAlphaL = true;
                }
                else
                {
                    isAlphaL = false;
                }
                if (false == (Gen.ANY == spec.current_token ||
                              Gen.CCL_START == spec.current_token ||
                              (spec.ignorecase && isAlphaL)))
                {
                    start.SetEdge(spec.lexeme);
                    gen.Advance();
                }
                else
                {
                    start.SetEdge(Nfa.CCL);
                    start.SetCharSet(new CharSet());
                    CharSet cset = start.GetCharSet();

                    /* Match case-insensitive letters using character class. */
                    if (spec.ignorecase && isAlphaL)
                    {
                        cset.addncase(spec.lexeme);
                    }
                    /* Match dot (.) using character class. */
                    else if (Gen.ANY == spec.current_token)
                    {
                        cset.add('\n');
                        cset.add('\r');
                        /* exclude BOL and EOF from character classes */
                        cset.add(spec.BOL);
                        cset.add(spec.EOF);
                        cset.complement();
                    }
                    else
                    {
                        gen.Advance();
                        if (Gen.AT_BOL == spec.current_token)
                        {
                            gen.Advance();
                            /* exclude BOL and EOF from character classes */
                            cset.add(spec.BOL);
                            cset.add(spec.EOF);
                            cset.complement();
                        }
                        if (!(Gen.CCL_END == spec.current_token))
                        {
                            dodash(cset);
                        }
                    }
                    gen.Advance();
                }
            }

#if DESCENT_DEBUG
            Utility.leave("term", spec.lexeme, spec.current_token);
#endif
        }
コード例 #10
0
ファイル: MakeNfa.cs プロジェクト: notfarfromorion/Lex
/*
 * Function: rule
 * Description: Recursive descent regular expression parser.
 */
        private static Nfa rule()
        {
            NfaPair pair;
            Nfa     start  = null;
            Nfa     end    = null;
            int     anchor = Spec.NONE;

#if DESCENT_DEBUG
            Utility.enter("rule", spec.lexeme, spec.current_token);
#endif

            pair = Alloc.NewNfaPair();

            if (Gen.AT_BOL == spec.current_token)
            {
                anchor = anchor | Spec.START;
                gen.Advance();
                expr(pair);

                start = Alloc.NewNfa(spec);
                start.SetEdge(spec.BOL);
                start.SetNext(pair.start);
                end = pair.end;
            }
            else
            {
                expr(pair);
                start = pair.start;
                end   = pair.end;
            }

            if (Gen.AT_EOL == spec.current_token)
            {
                gen.Advance();

                NfaPair nlpair = Alloc.NewNLPair(spec);
                end.SetNext(Alloc.NewNfa(spec));
                Nfa enext = end.GetNext();
                enext.SetNext(nlpair.start);
                enext.SetSib(Alloc.NewNfa(spec));
                enext.GetSib().SetEdge(spec.EOF);
                enext.GetSib().SetNext(nlpair.end);
                end = nlpair.end;

                anchor = anchor | Spec.END;
            }

            /* check for null rules */
            if (end == null)
            {
                Error.parse_error(Error.E_ZERO, input.line_number);
            }

            /* Handle end of regular expression */
            end.SetAccept(gen.packAccept());
            end.SetAnchor(anchor);

#if DESCENT_DEBUG
            Utility.leave("rule", spec.lexeme, spec.current_token);
#endif
            return(start);
        }
コード例 #11
0
 private static void term(NfaPair pair)
 {
     if (Tokens.OPEN_PAREN == MakeNfa.spec.current_token)
     {
         MakeNfa.gen.Advance();
         MakeNfa.expr(pair);
         if (Tokens.CLOSE_PAREN == MakeNfa.spec.current_token)
         {
             MakeNfa.gen.Advance();
             return;
         }
         Error.ParseError(Errors.SYNTAX, MakeNfa.gen.InputFilePath, MakeNfa.input.line_number);
         return;
     }
     else
     {
         Nfa nfa = Alloc.NewNfa(MakeNfa.spec);
         pair.start = nfa;
         nfa.Next   = Alloc.NewNfa(MakeNfa.spec);
         pair.end   = nfa.Next;
         bool flag = MakeNfa.spec.current_token == Tokens.LETTER && char.IsLetter(MakeNfa.spec.current_token_value);
         if (MakeNfa.spec.current_token != Tokens.ANY && MakeNfa.spec.current_token != Tokens.CCL_START && (!MakeNfa.spec.IgnoreCase || !flag))
         {
             nfa.Edge = MakeNfa.spec.current_token_value;
             MakeNfa.gen.Advance();
             return;
         }
         nfa.Edge = '￾';
         nfa.SetCharSet(new CharSet());
         CharSet charSet = nfa.GetCharSet();
         if (MakeNfa.spec.IgnoreCase && flag)
         {
             charSet.addncase(MakeNfa.spec.current_token_value);
         }
         else
         {
             if (MakeNfa.spec.current_token == Tokens.ANY)
             {
                 charSet.add(10);
                 charSet.add(13);
                 charSet.add((int)MakeNfa.spec.BOL);
                 charSet.add((int)MakeNfa.spec.EOF);
                 charSet.complement();
             }
             else
             {
                 MakeNfa.gen.Advance();
                 if (MakeNfa.spec.current_token == Tokens.CHAR_CLASS)
                 {
                     MakeNfa.gen.Advance();
                     if (!charSet.AddClass(MakeNfa.spec.class_name.ToLower()))
                     {
                         Error.ParseError(Errors.InvalidCharClass, MakeNfa.gen.InputFilePath, MakeNfa.input.line_number);
                     }
                 }
                 else
                 {
                     if (MakeNfa.spec.current_token == Tokens.AT_BOL)
                     {
                         MakeNfa.gen.Advance();
                         charSet.add((int)MakeNfa.spec.BOL);
                         charSet.add((int)MakeNfa.spec.EOF);
                         charSet.complement();
                     }
                 }
                 if (MakeNfa.spec.current_token != Tokens.CCL_END)
                 {
                     MakeNfa.dodash(charSet);
                 }
             }
         }
         MakeNfa.gen.Advance();
         return;
     }
 }
コード例 #12
0
ファイル: MakeNfa.cs プロジェクト: dw4dev/Phalanger
		private static void term(NfaPair pair)
		{
			if (Tokens.OPEN_PAREN == MakeNfa.spec.current_token)
			{
				MakeNfa.gen.Advance();
				MakeNfa.expr(pair);
				if (Tokens.CLOSE_PAREN == MakeNfa.spec.current_token)
				{
					MakeNfa.gen.Advance();
					return;
				}
				Error.ParseError(Errors.SYNTAX, MakeNfa.gen.InputFilePath, MakeNfa.input.line_number);
				return;
			}
			else
			{
				Nfa nfa = Alloc.NewNfa(MakeNfa.spec);
				pair.start = nfa;
				nfa.Next = Alloc.NewNfa(MakeNfa.spec);
				pair.end = nfa.Next;
				bool flag = MakeNfa.spec.current_token == Tokens.LETTER && char.IsLetter(MakeNfa.spec.current_token_value);
				if (MakeNfa.spec.current_token != Tokens.ANY && MakeNfa.spec.current_token != Tokens.CCL_START && (!MakeNfa.spec.IgnoreCase || !flag))
				{
					nfa.Edge = MakeNfa.spec.current_token_value;
					MakeNfa.gen.Advance();
					return;
				}
				nfa.Edge = '￾';
				nfa.SetCharSet(new CharSet());
				CharSet charSet = nfa.GetCharSet();
				if (MakeNfa.spec.IgnoreCase && flag)
				{
					charSet.addncase(MakeNfa.spec.current_token_value);
				}
				else
				{
					if (MakeNfa.spec.current_token == Tokens.ANY)
					{
						charSet.add(10);
						charSet.add(13);
						charSet.add((int)MakeNfa.spec.BOL);
						charSet.add((int)MakeNfa.spec.EOF);
						charSet.complement();
					}
					else
					{
						MakeNfa.gen.Advance();
						if (MakeNfa.spec.current_token == Tokens.CHAR_CLASS)
						{
							MakeNfa.gen.Advance();
							if (!charSet.AddClass(MakeNfa.spec.class_name.ToLower()))
							{
								Error.ParseError(Errors.InvalidCharClass, MakeNfa.gen.InputFilePath, MakeNfa.input.line_number);
							}
						}
						else
						{
							if (MakeNfa.spec.current_token == Tokens.AT_BOL)
							{
								MakeNfa.gen.Advance();
								charSet.add((int)MakeNfa.spec.BOL);
								charSet.add((int)MakeNfa.spec.EOF);
								charSet.complement();
							}
						}
						if (MakeNfa.spec.current_token != Tokens.CCL_END)
						{
							MakeNfa.dodash(charSet);
						}
					}
				}
				MakeNfa.gen.Advance();
				return;
			}
		}
コード例 #13
0
ファイル: MakeNfa.cs プロジェクト: dw4dev/Phalanger
		private static void factor(NfaPair pair)
		{
			MakeNfa.term(pair);
			if (Tokens.CLOSURE == MakeNfa.spec.current_token || Tokens.PLUS_CLOSE == MakeNfa.spec.current_token || Tokens.OPTIONAL == MakeNfa.spec.current_token)
			{
				Nfa nfa = Alloc.NewNfa(MakeNfa.spec);
				Nfa nfa2 = Alloc.NewNfa(MakeNfa.spec);
				nfa.Next = pair.start;
				pair.end.Next = nfa2;
				if (MakeNfa.spec.current_token == Tokens.CLOSURE || MakeNfa.spec.current_token == Tokens.OPTIONAL)
				{
					nfa.Sibling = nfa2;
				}
				if (MakeNfa.spec.current_token == Tokens.CLOSURE || MakeNfa.spec.current_token == Tokens.PLUS_CLOSE)
				{
					pair.end.Sibling = pair.start;
				}
				pair.start = nfa;
				pair.end = nfa2;
				MakeNfa.gen.Advance();
			}
		}
コード例 #14
0
ファイル: MakeNfa.cs プロジェクト: dw4dev/Phalanger
		private static void cat_expr(NfaPair pair)
		{
			NfaPair nfaPair = Alloc.NewNfaPair();
			if (MakeNfa.first_in_cat(MakeNfa.spec.current_token))
			{
				MakeNfa.factor(pair);
			}
			while (MakeNfa.first_in_cat(MakeNfa.spec.current_token))
			{
				MakeNfa.factor(nfaPair);
				pair.end.mimic(nfaPair.start);
				MakeNfa.discardNfa(nfaPair.start);
				pair.end = nfaPair.end;
			}
		}
コード例 #15
0
ファイル: MakeNfa.cs プロジェクト: dw4dev/Phalanger
		private static void expr(NfaPair pair)
		{
			NfaPair nfaPair = Alloc.NewNfaPair();
			MakeNfa.cat_expr(pair);
			while (Tokens.OR == MakeNfa.spec.current_token)
			{
				MakeNfa.gen.Advance();
				MakeNfa.cat_expr(nfaPair);
				Nfa nfa = Alloc.NewNfa(MakeNfa.spec);
				nfa.Sibling = nfaPair.start;
				nfa.Next = pair.start;
				pair.start = nfa;
				nfa = Alloc.NewNfa(MakeNfa.spec);
				pair.end.Next = nfa;
				nfaPair.end.Next = nfa;
				pair.end = nfa;
			}
		}