Ejemplos de Stinky.Compiler.Source.Tokenization RootTokenizer.OnToken en C# (CSharp)

Ejemplo n.º 1

Archivo: AlphaNumericTokenizer.cs Proyecto: lunchtimemama/Stinky

 public AlphanumericTokenizer(Location location, RootTokenizer rootTokenizer)
     : base(rootTokenizer)
 {
     rootTokenizer.OnToken(
         parser => parser.ParseIdentifier(
             () => stringBuilder.ToString(), new Region(location, stringBuilder.Length)));
 }

Ejemplo n.º 2

Archivo: NumberLiteralTokenizer.cs Proyecto: lunchtimemama/Stinky

 public NumberLiteralTokenizer(Location location, RootTokenizer rootTokenizer)
     : base(rootTokenizer)
 {
     rootTokenizer.OnToken(
         parser => parser.ParseNumberLiteral(
             () => double.Parse(stringBuilder.ToString()), new Region(location, stringBuilder.Length)));
 }