中文分词器
词典最大匹配分词:正向 FMM / 逆向 BMM 对照,可追加自定义词,输出分词结果、词频统计与多种分隔格式
内置常用词库 662 词,当前词典 662 词
说明
- 最大匹配只看词形切分候选,不消真正的句法歧义;FMM/BMM 结果不同时可对照选择(通常 BMM 错误率更低)。
- 连续英文/数字算一个词,标点与空白单独切出。
- 「未登录字」= 词典没覆盖被迫单字切出的汉字,把它们加进自定义词即可修复。
21
总 token
16
中文词数
5
未登录字
1.56
平均词长
分词结果
人工/智能/helping/我/们/学习/中/文/分词/,/研究/研究生/如/何/正/确/使用/工具/。
词频 Top 17
helping 1中 1人工 1们 1何 1使用 1分词 1如 1学习 1工具 1我 1文 1智能 1正 1研究 1研究生 1确 1
关于 中文分词器 工具
中文分词器 是云海百宝箱提供的一个免费在线工具。词典最大匹配分词,正向 FMM / 逆向 BMM 对照 该工具完全在浏览器中运行,无需下载安装任何软件,跨平台支持 Windows、Mac、Linux 及移动设备,数据在本地处理不上传服务器。
中文分词器 使用方法
- 在输入框中输入或粘贴需要处理的内容
- 选择相应的处理选项或参数
- 点击"处理"或"转换"按钮获取结果
- 点击"复制"按钮可一键复制结果到剪贴板