C# (CSharp) YukonLexer.TokenKind Exemples

Exemple #1

Fichier : SqlTokens.cs Projet : w8tcha/expressprofiler

        private void AddTokens(string tokens, YukonLexer.TokenKind tokenkind)
        {
            var curtoken = new StringBuilder();

            foreach (var t in tokens)
            {
                if (t == ',')
                {
                    var s = curtoken.ToString().ToLower();
                    if (!this.m_Words.ContainsKey(s))
                    {
                        this.m_Words.Add(s, tokenkind);
                    }

                    curtoken = new StringBuilder();
                }
                else
                {
                    curtoken.Append(t);
                }
            }

            if (curtoken.Length != 0)
            {
                this.m_Words.Add(curtoken.ToString(), tokenkind);
            }
        }

Exemple #2

Fichier : SqlTokens.cs Projet : xiefengdaxia/CSharpBigPlugin

        private void AddTokens(string tokens, YukonLexer.TokenKind tokenkind)
        {
            StringBuilder curtoken = new StringBuilder();

            for (int i = 0; i < tokens.Length; i++)
            {
                if (tokens[i] == ',')
                {
                    string s = curtoken.ToString().ToLower();
                    if (!m_Words.ContainsKey(s))
                    {
                        m_Words.Add(s, tokenkind);
                    }
                    curtoken = new StringBuilder();
                }
                else
                {
                    curtoken.Append(tokens[i]);
                }
            }
            if (curtoken.Length != 0)
            {
                m_Words.Add(curtoken.ToString(), tokenkind);
            }
        }

Exemple #3

Fichier : Token.cs Projet : ogvolkov/expressprofiler

 public Token(YukonLexer.TokenKind kind, string token)
 {
     _kind = kind;
     _token = token;
 }