示例#1
0
 public static IEnumerable<Token> Tokenize(char[] text)
 {
     var tokenizer = new Tokenizer(text);
     tokenizer.Tokenize();
     return tokenizer.Tokens;
 }
示例#2
0
 public static List<Token> Tokenize(char[] text)
 {
     var tokenizer = new Tokenizer(text);
     tokenizer.Tokenize();
     return tokenizer.Tokens;
 }