词法分析器的工作过程分析

Webkit中。有个词法分析器--HTMLTokenizer，她是怎么工作的呢。网页字节流是她的输入。她的输出是一个个的词语Token，比方div，input，img。script等等HTML文件里的标准元素(Element）。

前一篇文章关于DOM的创建里说过，HTML元字符解析器（HTMLMetaChractorParser）和HTML词法分析器（HTMLTokenizer）协同工作，一起分析、解析出词语(HTMLMetaChractorParser取出全部的页面中的字符。并调用HTMLTokenizer的nextToken函数处理它)：



以下这张图。就是Tokenizer详细的工作过程。我们看的出来。她是个状态机，先取<，再取>，就表示一个词语(token)结束了，之后进入下一个状态。周而复始。