中文分词器

词典最大匹配分词:正向 FMM / 逆向 BMM 对照,可追加自定义词,输出分词结果、词频统计与多种分隔格式

内置常用词库 662 词,当前词典 662 词

说明

  • 最大匹配只看词形切分候选,不消真正的句法歧义;FMM/BMM 结果不同时可对照选择(通常 BMM 错误率更低)。
  • 连续英文/数字算一个词,标点与空白单独切出。
  • 「未登录字」= 词典没覆盖被迫单字切出的汉字,把它们加进自定义词即可修复。

21

总 token

16

中文词数

5

未登录字

1.56

平均词长

分词结果

人工/智能/helping/我/们/学习/中/文/分词/,/研究/研究生/如/何/正/确/使用/工具/。

词频 Top 17

helping 1中 1人工 1们 1何 1使用 1分词 1如 1学习 1工具 1我 1文 1智能 1正 1研究 1研究生 1确 1

关于 中文分词器 工具

中文分词器 是云海百宝箱提供的一个免费在线工具。词典最大匹配分词,正向 FMM / 逆向 BMM 对照 该工具完全在浏览器中运行,无需下载安装任何软件,跨平台支持 Windows、Mac、Linux 及移动设备,数据在本地处理不上传服务器。

与 中文分词器 配合常用的同类工具: 文本Diff对比、字数/字符统计、文本去重、文本排序、大小写转换、中英文空格处理

中文分词器 使用方法

  1. 在输入框中输入或粘贴需要处理的内容
  2. 选择相应的处理选项或参数
  3. 点击"处理"或"转换"按钮获取结果
  4. 点击"复制"按钮可一键复制结果到剪贴板

相关工具推荐