Ejemplos de CodeClassifier.StringTokenizer StringTokenizer en C# (CSharp)

Ejemplo n.º 1

Archivo: CodeClassifier.cs Proyecto: lucaslin/CodeClassifier

        private static List <Token> GetAllTokens(string code)
        {
            StringTokenizer.StringTokenizer stringTokenizer = new StringTokenizer.StringTokenizer(code);

            List <Token> tokens = new List <Token>();
            Token        token;

            do
            {
                token = stringTokenizer.Next();
                tokens.Add(token);
            } while (token.Kind != TokenKind.Eof);
            return(tokens);
        }

Ejemplo n.º 2

Archivo: csharp.cs Proyecto: lucaslin/CodeClassifier

        private static List<Token> GetAllTokens(string code)
        {
            StringTokenizer.StringTokenizer stringTokenizer = new StringTokenizer.StringTokenizer(code);

            List<Token> tokens = new List<Token>();
            Token token;
            do
            {
                token = stringTokenizer.Next();
                tokens.Add(token);
            } while (token.Kind != TokenKind.Eof);
            return tokens;
        }