public void TestTokenizeAndOptimize()
{
var tokenizer = new MarkdownTokenizer();
tokenizer.Optimize(tokenizer.Tokenize("Hello\r\nWorld!"))
.Should().Equal(new MarkdownToken("Hello World!"));
}
public void TestOptimizeTwoTextTokens()
{
var tokenizer = new MarkdownTokenizer();
tokenizer.Optimize(new[]
{
new MarkdownToken("Foo"),
new MarkdownToken("bar")
}).Should().Equal(new MarkdownToken("Foobar"));
}
public void TestOptimizeTwoNoneTokens()
{
var tokenizer = new MarkdownTokenizer();
tokenizer.Optimize(new[]
{
new MarkdownToken(MarkdownTokenType.None),
new MarkdownToken(MarkdownTokenType.None)
}).Should().BeEmpty();
}
public void TestOptimizeSpaceTokens()
{
var tokenizer = new MarkdownTokenizer();
tokenizer.Optimize(new[]
{
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace)
}).Should().Equal(new MarkdownToken(MarkdownTokenType.Whitespace));
}
public void TestOptimizeSpaceAndTextTokens()
{
var tokenizer = new MarkdownTokenizer();
tokenizer.Optimize(new[]
{
new MarkdownToken("Foo"),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken(MarkdownTokenType.Whitespace),
new MarkdownToken("b"),
new MarkdownToken("a"),
new MarkdownToken("r")
}).Should().Equal(
new MarkdownToken("Foo bar")
);
}
public void TestOptimizeEmpty()
{
var tokenizer = new MarkdownTokenizer();
tokenizer.Optimize(new MarkdownToken[0]).Should().BeEmpty();
}
