Exemplos de SharpNL.Tokenize TokenizerME.Tokenize em C# (CSharp)

Exemplo n.º 1

Arquivo: TokenFrequencies.cs Projeto: FreHu/HoroscopeGenerator

        public List<string> Tokenize()
        {
            var model = new TokenizerModel(File.OpenRead(BaseFolder + "en-token.bin"));
            var tokenizer = new TokenizerME(model);

            return tokenizer.Tokenize(this.Text).ToList();
        }

Exemplo n.º 2

Arquivo: TokenizerMETest.cs Projeto: lovethisgame/SharpNL

        public void TestTokenizerSimpleModel() {
            var model = TokenizerTestUtil.CreateMaxentTokenModel();
            var tokenizer = new TokenizerME(model);
            var tokens = tokenizer.Tokenize("test,");

            Assert.AreEqual(2, tokens.Length);
            Assert.AreEqual("test", tokens[0]);
            Assert.AreEqual(",", tokens[1]);
        }