public IList<string> TestClassicTokenizerReturnDelimiterTrue(string text)
{
var tokenizer = new ClassicTokenizer(true);
IList<string> tokens = tokenizer.Tokenize(text);
return tokens;
}
private static void SentenceSegmentation()
{
var paragraph = "Prof. Dr. Ahmet Bey 1.6 oranında artış var dedi 2. kez. E-posta adresi [email protected] imiş! Doğru mu?";
ITokenizer tokenizer = new ClassicTokenizer(true);
SentenceSegmenter segmenter = new TokenBasedSentenceSegmenter(tokenizer);
var sentences = segmenter.GetSentences(paragraph);
foreach (string sentence in sentences)
{
Console.WriteLine(sentence);
}
}
