friso-1.6.1 发布 - C语言高性能中文分词器-检测模式切分

发布于 2014-07-23 02:48:33 | 285 次阅读 | 评论: 0 | 来源: 网友投递

friso是使用c语言开发的一个开源的中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入到其他程序中，例如：MySQL，PHP等。并且提供了一个php扩展

Friso是使用c语言开发的一款开源中文分词器，使用流行的mmseg算法实现。完全基于模块化设计和实现，可以很方便的植入其他程序中，例如：MySQL，PHP，源码无需修改就能在各种平台下编译使用，同时支持对UTF-8/GBK编码的切分．

friso-1.6.1:

1. friso.ini中friso.lex_dir增加相对friso.ini的路径支持，这个可以让嵌入部署更方便。感谢 @黄冠能的建议

2. 修复两处内存泄漏bug。 (无名英雄找到的，在此感谢)

3. 改善中英混合词的识别, 可以识别更多情况, 例如:高3。

4. 词库优化, 加入了一些新词条。

5. 修复friso_dic_add & array_list_insert的两处代码bug。

6. 增加检测模式切分, 只返回词库中有的词条，这个对于有些需求确实挺有用的。

7. 集成了php扩展绑定，完美支持PHP分词。以前这个是单独拿出来的，并且项目为robbe，为了方便管理，现在统一绑定到了friso项目里面。

friso从下个版本开始，会逐渐去提供sphinx的token filter，socket接口等。

google code不在提供下载，下载地址：

历史版本 :
Friso 1.6.3 发布，纯 C 开发的中文分词器
Friso 1.6.2 发布，纯 C 开发的中文分词器
friso-1.6.1 发布 - C语言高性能中文分词器-检测模式切分

最新网友评论 共有(0)条评论发布评论返回顶部