实体摘要任务是从知识图谱中描述实体的大量三元组中选取最优子集作为摘要.现有实体摘要系统通常以较复杂的方式集成多种摘要技术特征.已开展的评测工作对现有系统进行了总体效果的评测和对比,但未能解释系统所用各摘要特征对最终效果的作用.为此,提出对实体摘要系统开展解释性评测.提出两种新指标:特征效用率和特征显著率,两者分别度量各摘要特征在标准摘要和系统生成摘要中的显示度,两者对比分析的结果在一定程度上可为系统取得的最终效果提供解释.基于3个评测集实现了这种评测新方法,运用6种常见的摘要特征,对9个非监督实体摘要系统和两个有监督实体摘要系统进行了解释性评测,相关代码和数据已开源.
知识图谱 实体摘要 评测集