Ejemplos de Lucene.Net.Analysis.Ar ArabicLetterTokenizer en C# (CSharp)

Ejemplo n.º 1

Archivo: TestArabicLetterTokenizer.cs Proyecto: zhuthree/lucenenet

        public virtual void TestArabicLetterTokenizerBWCompat()
        {
            StringReader          reader    = new StringReader("1234567890 Tokenizer \ud801\udc1c\u0300test");
            ArabicLetterTokenizer tokenizer = new ArabicLetterTokenizer(LuceneVersion.LUCENE_30, reader);

            AssertTokenStreamContents(tokenizer, new string[] { "Tokenizer", "\u0300test" });
        }

Ejemplo n.º 2

        private void Check(string input, string expected)
        {
            ArabicLetterTokenizer tokenStream = new ArabicLetterTokenizer(TEST_VERSION_CURRENT, new StringReader(input));
            ArabicStemFilter      filter      = new ArabicStemFilter(tokenStream);

            AssertTokenStreamContents(filter, new string[] { expected });
        }

Ejemplo n.º 3

Archivo: TestArabicStemFilter.cs Proyecto: sebastienros/lucenenet

        private void Check(string input, string expected)
        {
#pragma warning disable 612, 618
            ArabicLetterTokenizer tokenStream = new ArabicLetterTokenizer(TEST_VERSION_CURRENT, new StringReader(input));
#pragma warning restore 612, 618
            ArabicStemFilter filter = new ArabicStemFilter(tokenStream);
            AssertTokenStreamContents(filter, new string[] { expected });
        }

Ejemplo n.º 4

Archivo: TestPersianNormalizationFilter.cs Proyecto: ChristopherHaws/lucenenet

        private void Check(string input, string expected)
        {
#pragma warning disable 612, 618
            ArabicLetterTokenizer tokenStream = new ArabicLetterTokenizer(TEST_VERSION_CURRENT, new StringReader(input));
#pragma warning restore 612, 618
            PersianNormalizationFilter filter = new PersianNormalizationFilter(tokenStream);
            AssertTokenStreamContents(filter, new string[] { expected });
        }

Ejemplo n.º 5

        public virtual void TestWithKeywordAttribute()
        {
            CharArraySet set = new CharArraySet(TEST_VERSION_CURRENT, 1, true);

            set.add("ساهدهات");
            ArabicLetterTokenizer tokenStream = new ArabicLetterTokenizer(TEST_VERSION_CURRENT, new StringReader("ساهدهات"));

            ArabicStemFilter filter = new ArabicStemFilter(new SetKeywordMarkerFilter(tokenStream, set));

            AssertTokenStreamContents(filter, new string[] { "ساهدهات" });
        }

Ejemplo n.º 6

Archivo: TestArabicLetterTokenizer.cs Proyecto: ChristopherHaws/lucenenet

 public virtual void TestArabicLetterTokenizerBWCompat()
 {
     StringReader reader = new StringReader("1234567890 Tokenizer \ud801\udc1c\u0300test");
     ArabicLetterTokenizer tokenizer = new ArabicLetterTokenizer(LuceneVersion.LUCENE_30, reader);
     AssertTokenStreamContents(tokenizer, new string[] { "Tokenizer", "\u0300test" });
 }

Ejemplo n.º 7

Archivo: TestArabicStemFilter.cs Proyecto: ChristopherHaws/lucenenet

        public virtual void TestWithKeywordAttribute()
        {
            CharArraySet set = new CharArraySet(TEST_VERSION_CURRENT, 1, true);
            set.add("ساهدهات");
#pragma warning disable 612, 618
            ArabicLetterTokenizer tokenStream = new ArabicLetterTokenizer(TEST_VERSION_CURRENT, new StringReader("ساهدهات"));
#pragma warning restore 612, 618

            ArabicStemFilter filter = new ArabicStemFilter(new SetKeywordMarkerFilter(tokenStream, set));
            AssertTokenStreamContents(filter, new string[] { "ساهدهات" });
        }