C# (CSharp) CoApp.Toolkit.Scripting.Utility Tokenizerの例

コード例 #1

ファイル: Tokenizer.cs プロジェクト: segilbert/coapp

 public static IEnumerable<Token> Tokenize(char[] text)
 {
     var tokenizer = new Tokenizer(text);
     tokenizer.Tokenize();
     return tokenizer.Tokens;
 }

コード例 #2

ファイル: Tokenizer.cs プロジェクト: piscisaureus/coapp

 public static List<Token> Tokenize(char[] text)
 {
     var tokenizer = new Tokenizer(text);
     tokenizer.Tokenize();
     return tokenizer.Tokens;
 }