IK在线分词器

IKAnalyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始,IKAnalyzer已经推出了3个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。 新版本的 IKAnalyzer3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。 IKAnalyzer3.0特性:采用了特有的“正向迭代最细粒度切分算法“,支持细粒度和最大词长两种切分模式;具有83万字/秒(1600KB/S)的高速处理能力。 采用了多子处理器分析模式,支持:英文字母、数字、中文词汇等分词处理,兼容韩文、日文字符;优化的词典存储,更小的内存占用。支持用户词典扩展定义 针对Lucene全文检索优化的查询分析器IKQueryParser(作者吐血推荐);引入简单搜索表达式,采用歧义分析算法优化查询关键字的搜索排列组合,能极大的提高Lucene检索的命中率。
elasticsearch-analysis-ik 主页 https://github.com/medcl/elasticsearch-analysis-ik
IK 分词器 https://github.com/wks/ik-analyzer

单文本分析

切分分词

  • 智能切分
  • 细粒度切分
语言 广义 而言 采用 一套 具有 共同 处理 规则 规则 进行 进行 表达 表达 沟通 沟通 指令 指令 ik ik 分词器 分词器
语言 广义 而言 采用 一套 具有 共同 处理 处理 规则 规则 进行 进行 表达 表达 沟通 沟通 通指 通指 指令 指令 ik ik 分词器 分词 分词
Copyright © 2017-2018 JSON在线解析  beejson.com  京ICP备17029931号-2