friso-1.3发布-中英混合词识别+开发帮助文档+4处bug修复

friso是使用C语言开发的一款高性能分词组件, 并且提供了一个php分词扩展: robbe.

friso-1.3发布了:

这次的更新内容比较多, 具体如下:

1. 除去和c++,vs的冲突(string和__value)

2. 部分简易函数使用了宏定义来代替, 减少函数的调用.

3. 保留了英文全半角和中文标点符号的切分.(可以通过过滤停止词来过滤不需要的标点)

停止词词库中已经加入了全部的保留的标点, 也就是默认全部过滤了.

4. 修复friso_string#utf8_en_punctuation()函数一处bug.

5. 修复切分结果偏移量bug.(以这个词的开始索引作为offset)

6. 修复friso_lexicon#friso_dic_load一处bug.

7. 新增了对c++,c#类词条的识别.(新增lex-en-pun.lex词库) .

8. 新增了中英混合词的识别, 例如: 卡拉ok(新增lex-cemix.lex词库).

9. 更改了Makefile, 优化了clean目标并且兼容64bit系统的编译.

先前版本在b4bit系统中编译会报错.

10. 更改了词库, 加入了些许新词并且去掉了一些无用词.

11. 加入了friso开发帮助文档.pdf

很早就想发布了一个开发帮助文档了, 今天终于完善了...

关于friso:http://code.google.com/p/friso

下载friso: http://code.google.com/p/friso/downloads/list

robbe的用户, 重新安装下friso, 并且重启下php宿主环境就ok了.

感谢网友的建议和反馈. 祝大家工作愉快 !