Ejemplo n.º 1
0
 private string EscapeToken(string s)
 => (EscapeStrings && !string.IsNullOrEmpty(s) && char.IsUpper(s[0]))
         ? TextFileTokenStream.EscapeStringToken(s)
         : s;
Ejemplo n.º 2
0
        public static string[] Tokenize(string code)
        {
            var stream = new TextFileTokenStream(new StringReader(code), null);

            return(stream.Tokens.ToArray());
        }