C# (CSharp) Stinky.Compiler.Source.Tokenization RootTokenizer.OnToken Beispiele

Beispiel #1

Datei: AlphaNumericTokenizer.cs Projekt: lunchtimemama/Stinky

 public AlphanumericTokenizer(Location location, RootTokenizer rootTokenizer)
     : base(rootTokenizer)
 {
     rootTokenizer.OnToken(
         parser => parser.ParseIdentifier(
             () => stringBuilder.ToString(), new Region(location, stringBuilder.Length)));
 }

Beispiel #2

Datei: NumberLiteralTokenizer.cs Projekt: lunchtimemama/Stinky

 public NumberLiteralTokenizer(Location location, RootTokenizer rootTokenizer)
     : base(rootTokenizer)
 {
     rootTokenizer.OnToken(
         parser => parser.ParseNumberLiteral(
             () => double.Parse(stringBuilder.ToString()), new Region(location, stringBuilder.Length)));
 }