新时代人民日报分词语料库构建、性能及应用(一)-语料库构建及测评
Construction, Performance and Application of New Era People's Daily Segmented Corpus (I)——Construction and Evaluation of Corpus
-
作者：
黄水清
1,2
王东波
1,2
-
作者单位：
-
提交时间：2023-07-26 17:47:02
摘要: [目的/意义] 构建与新时代相适应的人民日报分词语料库，为中文信息处理提供最新的精标注语料，也为从历时的角度分析现代汉语提供新的语言资源。[方法/过程] 在分析已有汉语分词语料库的基础上，描述所构建新时代人民日报语料库的数据源、标注规范和流程，通过构建分词自动标注模型测评语料库的性能，并与已有语料库进行对比。[结果/结论] 新时代人民日报语料库遵循现代汉语语料库基本加工规范，规模大，时间跨度长。选取其中的2018年1月部分，基于条件随机场构建分词模型，与1998年1月人民日报语料进行性能测评与对比，所得到的各项具体测评指标表明，新时代人民日报语料整体性能突出，1998年语料无法替代，当前构建该语料库非常必要。
版本历史
| [V1] |
2023-07-26 17:47:02 |
ChinaXiv:202307.00327V1
|
下载全文 |
相关信息
点击量
下载量
