public void TestTokenizer()
{
var tokenizer = new StringTokenizer(Test1);
var all = tokenizer.ReadAll();
var expected = new[] {
StringTokenKind.Word,
StringTokenKind.WhiteSpace,
StringTokenKind.Number,
StringTokenKind.WhiteSpace,
StringTokenKind.QuotedString,
StringTokenKind.WhiteSpace,
StringTokenKind.Number,
StringTokenKind.WhiteSpace,
StringTokenKind.Word,
StringTokenKind.WhiteSpace,
StringTokenKind.Number,
StringTokenKind.WhiteSpace,
StringTokenKind.Symbol,
StringTokenKind.WhiteSpace,
StringTokenKind.QuotedString
};
Assert.AreEqual(15, all.Length);
for (var i = 0; i < expected.Length; i++)
{
Assert.AreEqual(expected[i], all[i].Kind);
}
}