上周就关于《结构化感知机标注框架的内容》已经分享了一篇《分词工具Hanlp基于感知机的中文分词框架》，本篇接上一篇内容，继续分享词性标注与命名实体识别框架的内容。 词性标注训练词性标注是分词后紧接着的一个任务，训练语料同上，接口如下： 命令行java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task POS -train -reference data/test/pku98/199801.txt -model data/test/perceptron/pos.bin APIpublic void testTrain() throws Exception{PerceptronTrainer trainer = new POSTrainer();trainer.train("data/test/pku98/199801.txt", Config.POS_MODEL_FILE);} 测试词性标注器接受的输入不再是纯文本，而是分词后的单词数组或列表： public void testLoad() throws Exception{PerceptronPOSTagger tagger = new PerceptronPOSTagger(Config.POS_MODEL_FILE);System.out.println(Arrays.toString(tagger.tag("中国 交响乐团 谭利华 在 布达拉宫 广场 演出".split(" "))));}正常情况下输出每个单词的词性：[ns, n, nr, p, ns, n, v]关于如何组合分词器和词性标注器，使其同时进行分词与词性标注，请参考接下来的章节。 命名实体识别目前本系统默认支持人名（nr），地名（ns），机构名（nt）三种命名实体的识别，用户可以重载NERTrainer的createTagSet来支持任意NER类型。训练命名实体识别是词性标注的后续任务，训练语料依然同上，接口如下： 命令行java -cp hanlp.jar com.hankcs.hanlp.model.perceptron.Main -task NER -train -reference data/test/pku98/199801.txt -model data/test/perceptron/ner.bin APIpublic void testTrain() throws Exception{PerceptronTrainer trainer = new NERTrainer();trainer.train("data/test/pku98/199801.txt", Config.NER_MODEL_FILE);} 自定义NER类型重载NERTrainer的createTagSet来支持自己的NER类型。当然，用户提供的语料必须满足2014人民日报格式。 PerceptronTrainer trainer = new NERTrainer(){
@Override
protected TagSet createTagSet()
{
NERTagSet tagSet = new NERTagSet();
tagSet.nerLabels.add("YourNER1");
tagSet.nerLabels.add("YourNER2");
tagSet.nerLabels.add("YourNER3");
return tagSet;
}};测试命名实体识别器的输入不再是纯文本，而是分词结果与词性标注结果： public void testTag() throws Exception{PerceptionNERecognizer recognizer = new PerceptionNERecognizer(Config.NER_MODEL_FILE);System.out.println(Arrays.toString(recognizer.recognize("吴忠市 乳制品 公司 谭利华 来到 布达拉宫 广场".split(" "), "ns n n nr p ns n".split(" "))));} 正常情况下输出：[B-nt, M-nt, E-nt, S, O, S, O]7个标签代表上述7个词语所属的命名实体成分。 |
