C# (CSharp) MyTokenizer.Tokenizeの例

コード例 #1

ファイル: ReadmeTests.cs プロジェクト: pdonald/latvian

 public void CustomClass()
 {
     MyTokenizer tokenizer = new MyTokenizer();
     Token[] tokens = tokenizer.Tokenize("A.Bērziņš ").ToArray();
     Assert.AreEqual("A", tokens[0].Text);
     Assert.AreEqual(".", tokens[1].Text);
     Assert.AreEqual("Bērziņš", tokens[2].Text);
     Assert.AreEqual(" ", tokens[3].Text);
 }

コード例 #2

        public void CustomClass()
        {
            MyTokenizer tokenizer = new MyTokenizer();

            Token[] tokens = tokenizer.Tokenize("A.Bērziņš ").ToArray();
            Assert.AreEqual("A", tokens[0].Text);
            Assert.AreEqual(".", tokens[1].Text);
            Assert.AreEqual("Bērziņš", tokens[2].Text);
            Assert.AreEqual(" ", tokens[3].Text);
        }