public virtual void TestFilterTokens()
{
SnowballFilter filter = new SnowballFilter(new TestTokenStream(this), "English");
ICharTermAttribute termAtt = filter.GetAttribute <ICharTermAttribute>();
IOffsetAttribute offsetAtt = filter.GetAttribute <IOffsetAttribute>();
ITypeAttribute typeAtt = filter.GetAttribute <ITypeAttribute>();
IPayloadAttribute payloadAtt = filter.GetAttribute <IPayloadAttribute>();
IPositionIncrementAttribute posIncAtt = filter.GetAttribute <IPositionIncrementAttribute>();
IFlagsAttribute flagsAtt = filter.GetAttribute <IFlagsAttribute>();
filter.IncrementToken();
assertEquals("accent", termAtt.ToString());
assertEquals(2, offsetAtt.StartOffset());
assertEquals(7, offsetAtt.EndOffset());
assertEquals("wrd", typeAtt.Type);
assertEquals(3, posIncAtt.PositionIncrement);
assertEquals(77, flagsAtt.Flags);
assertEquals(new BytesRef(new byte[] { 0, 1, 2, 3 }), payloadAtt.Payload);
}
public void TestFilterTokens()
{
SnowballFilter filter = new SnowballFilter(new TestTokenStream(), "English");
ITermAttribute termAtt = filter.GetAttribute <ITermAttribute>();
IOffsetAttribute offsetAtt = filter.GetAttribute <IOffsetAttribute>();
ITypeAttribute typeAtt = filter.GetAttribute <ITypeAttribute>();
IPayloadAttribute payloadAtt = filter.GetAttribute <IPayloadAttribute>();
IPositionIncrementAttribute posIncAtt = filter.GetAttribute <IPositionIncrementAttribute>();
IFlagsAttribute flagsAtt = filter.GetAttribute <IFlagsAttribute>();
filter.IncrementToken();
Assert.AreEqual("accent", termAtt.Term);
Assert.AreEqual(2, offsetAtt.StartOffset);
Assert.AreEqual(7, offsetAtt.EndOffset);
Assert.AreEqual("wrd", typeAtt.Type);
Assert.AreEqual(3, posIncAtt.PositionIncrement);
Assert.AreEqual(77, flagsAtt.Flags);
Assert.AreEqual(new Payload(new byte[] { 0, 1, 2, 3 }), payloadAtt.Payload);
}
public void TestFilterTokens()
{
SnowballFilter filter = new SnowballFilter(new TestTokenStream(), "English");
ITermAttribute termAtt = filter.GetAttribute<ITermAttribute>();
IOffsetAttribute offsetAtt = filter.GetAttribute<IOffsetAttribute>();
ITypeAttribute typeAtt = filter.GetAttribute<ITypeAttribute>();
IPayloadAttribute payloadAtt = filter.GetAttribute<IPayloadAttribute>();
IPositionIncrementAttribute posIncAtt = filter.GetAttribute<IPositionIncrementAttribute>();
IFlagsAttribute flagsAtt = filter.GetAttribute<IFlagsAttribute>();
filter.IncrementToken();
Assert.AreEqual("accent", termAtt.Term);
Assert.AreEqual(2, offsetAtt.StartOffset);
Assert.AreEqual(7, offsetAtt.EndOffset);
Assert.AreEqual("wrd", typeAtt.Type);
Assert.AreEqual(3, posIncAtt.PositionIncrement);
Assert.AreEqual(77, flagsAtt.Flags);
Assert.AreEqual(new Payload(new byte[] { 0, 1, 2, 3 }), payloadAtt.Payload);
}
public virtual void TestFilterTokens()
{
SnowballFilter filter = new SnowballFilter(new TestTokenStream(this), "English");
ICharTermAttribute termAtt = filter.GetAttribute<ICharTermAttribute>();
IOffsetAttribute offsetAtt = filter.GetAttribute<IOffsetAttribute>();
ITypeAttribute typeAtt = filter.GetAttribute<ITypeAttribute>();
IPayloadAttribute payloadAtt = filter.GetAttribute<IPayloadAttribute>();
IPositionIncrementAttribute posIncAtt = filter.GetAttribute<IPositionIncrementAttribute>();
IFlagsAttribute flagsAtt = filter.GetAttribute<IFlagsAttribute>();
filter.IncrementToken();
assertEquals("accent", termAtt.ToString());
assertEquals(2, offsetAtt.StartOffset());
assertEquals(7, offsetAtt.EndOffset());
assertEquals("wrd", typeAtt.Type);
assertEquals(3, posIncAtt.PositionIncrement);
assertEquals(77, flagsAtt.Flags);
assertEquals(new BytesRef(new byte[] { 0, 1, 2, 3 }), payloadAtt.Payload);
}