static TokenData ScanNewLine(TextInputRange input) { input.NewLine(); input.ExtendWhitespaces(); return(new TokenData { Range = input.Clone(), Type = Token.NewLineIndentation }); }
static TokenData ScanWhitespaces(TextInputRange input) { input.Extend(); input.ExtendWhitespaces(); return(new TokenData { Range = input.Clone(), Type = Token.WhiteSpaceSeperator }); }