C# (CSharp) CoApp.Toolkit.Scripting.Utility Tokenizer примеры использования

Пример #1

Файл: Tokenizer.cs Проект: segilbert/coapp

 public static IEnumerable<Token> Tokenize(char[] text)
 {
     var tokenizer = new Tokenizer(text);
     tokenizer.Tokenize();
     return tokenizer.Tokens;
 }

Пример #2

Файл: Tokenizer.cs Проект: piscisaureus/coapp

 public static List<Token> Tokenize(char[] text)
 {
     var tokenizer = new Tokenizer(text);
     tokenizer.Tokenize();
     return tokenizer.Tokens;
 }