htmlparser 处理标签的一个bug

众所周知，Htmlparser本身有一些小bug，而且也有三年没更新了。所以现在基于java的信息抽取多转向NekoHtml。不过Htmlparser本身还是有不少优点，主要是扩展性强，其利用的设计模式值得学习。由于时间的关系，现在项目还是使用Htmlparser，以后有时间会对nekohtml进行研究。
今天遇到的bug来自于对<script>的解析。假如一个网页的部分代码如下，那么HtmlParser是必然会出错的:

<script language="javascript">
var strMsg = "<div aligh=left><span class='font14 style4'><font color=red>******你的投票已提交，谢谢! ******</font></span></div>";
var existStrMsg = "<div aligh=left><span class='font14 style4'><font color=red>******你已经投过票了，谢谢! ******</font></span></div>";
var dealingStrMsg = "<div aligh=left><span class='font14 style4'><font color=red>******正在处理你的投票，请稍后...... ******</font></span></div>";

htmlparser在解析一个节点时，首先确定节点Tag的类型，然后再调用相应的scanner进一步处理。对于<script>标签,需要调用的就是 org.htmlparser.scanners.ScriptScanner。ScriptScanner的Scan()方法部分代码如下：

public static boolean STRICT = true
...
if (tag instanceof ScriptTag)
{
language = ((ScriptTag)tag).getLanguage ();
if ((null != language) &&
(language.equalsIgnoreCase ("JScript.Encode") ||
language.equalsIgnoreCase ("VBScript.Encode")))
{
code = ScriptDecoder.Decode (lexer.getPage (), lexer.getCursor ());
((ScriptTag)tag).setScriptCode (code);
}
}
content = lexer.parseCDATA (!STRICT);
position = lexer.getPosition ();

问题就出在 lexer.parseCDATA() 这个方法上。它提取<scirpt>标签的内容作为文本返回给 content 。当其中的参数为false时，它的截至条件是遇到 “</”。也就是说此时尽管遇到的"</" 是双引号内的文本内容，它仍然会认为遇到了截止标签。对于上文的HTML代码，截止标签就是</font>。出现这个错误后，之后的内容都将被当做普通html代码来解析,直到再遇到</script>。

解决的办法很简单 ，只需将参数改为：

content = lexer.parseCDATA (STRICT);

当参数为true时，该方法会自动考虑引号的问题。