public void TestTokenizer() { var tokenizer = new StringTokenizer(Test1); var all = tokenizer.ReadAll(); var expected = new[] { StringTokenKind.Word, StringTokenKind.WhiteSpace, StringTokenKind.Number, StringTokenKind.WhiteSpace, StringTokenKind.QuotedString, StringTokenKind.WhiteSpace, StringTokenKind.Number, StringTokenKind.WhiteSpace, StringTokenKind.Word, StringTokenKind.WhiteSpace, StringTokenKind.Number, StringTokenKind.WhiteSpace, StringTokenKind.Symbol, StringTokenKind.WhiteSpace, StringTokenKind.QuotedString }; Assert.AreEqual(15, all.Length); for (var i = 0; i < expected.Length; i++) { Assert.AreEqual(expected[i], all[i].Kind); } }