第二十一届中国计算语言学大会（CCL 2022） 技术评测任务发布

第二十一届中国计算语言学大会（CCL 2022）

http://cips-cl.org/static/CCL2022/cclEval/taskEvaluation/index.html

技术评测任务发布

会议网站：http://cips-cl.org/static/CCL2022/index.html

“第二十一届中国计算语言学大会”（The Twenty-first China National Conference on Computational Linguistics, CCL 2022）将于2022年10月14-16日在江西省南昌市举行，会议主办单位为中国中文信息学会，承办单位为江西师范大学。

本次大会继续组织中文语言处理技术评测。经过前期评测任务征集，评测委员会已确定14个评测任务，涵盖了语义分析、文本纠错、信息抽取、模型效率评估、语言迁移、阅读理解、问答对话、多模态等重要研究方向。欢迎广大研究者参与评测竞赛。中国中文信息学会将为在评测中取得优异成绩的队伍提供官方荣誉证书。 一、评测任务 任务1：第二届中文抽象语义表示解析评测（CAMRP 2022） 任务简介 任务背景

抽象语义表示（Abstract Meaning Representation，AMR）是近些年国际上新兴的整句语义表示方法，很好地解决了整句语义的形式化表示问题。目前已经成为了国际的研究热点，并引起较大关注。AMR自动解析等相关的技术也被广泛用于机器问答和文本摘要等自然语言处理下游任务中，并取得了优异的成果。2020年在CoNLL国际评测上，中文AMR语料已经与英德等四种语言一起进行了语义解析评测（http://mrp.nlpl.eu/2020/index.php）。 任务介绍

本次为第二届中文抽象语义表示解析评测（Chinese Abstract Meaning Representation Parsing，CAMRP 2022），评测任务是在中文抽象语义语料库上，自动解析出句子的AMR图。与英文AMR不同的是，中文AMR增加了概念关系对齐信息和虚词信息，并针对中文特点增加了一些语义标签。遗憾的是，概念关系对齐信息并没有用于CoNLL2020的评测。因此，本次评测重新设计了包含了概念关系对齐的信息的新评测指标Align-smatch，以更好地评估自动解析的性能，推进汉语句子的语义解析研究。

本次评测根据参赛队伍成绩最终排名，分别设立一、二、三等奖。 组织者和联系人

任务组织者：李斌、曲维光、周俊生（南京师范大学）; 薛念文（布兰迪斯大学）

工作人员：许智星、肖力铭、芦靖雅、陈瑾、谢媛媛、袁义国等（南京师范大学）

联系方式：libin.njnu@gmail.com 任务奖项

中国中文信息学会提供的荣誉证书 任务网址

https://github.com/GoThereGit/Chinese-AMR 任务2：第二届中文空间语义理解评测（SpaCE 2022） 任务简介 任务背景

空间范畴是人类认知中重要的基础范畴。理解文本中的空间信息不仅需要掌握字词含义，还需要具有常识或背景知识，要调动语言范畴之外的空间想象等认知能力。 空间语义理解在NLP领域也长期受到关注，是NLP评测的重要内容之一，但以往相关评测任务主要关注语言中正确的空间语义信息的分析。人类在能够识别常规、正确的空间信息的同时，还能够识别异常、错误的空间信息。如对于“在四面签一个名字”，人类能够意识到其中存在异常，因为“一个名字”通常不会签在“四面”；又如“跳进山洞外”，“跳进”搭配的必须是表达一个空间内部方位的成分，如“山洞中、山洞里”，无法搭配“山洞外”。显然，空间方位表达的异常存在不同的类型，如词语搭配问题、上下文语义冲突问题、违反常识或背景信息的问题等。 任务介绍

基于以上认识，我们于2021年依托 CCL2021 成功举办了首届中文空间语义理解评测任务（SpaCE，Spatial Cognition Evaluation）。今年，我们依托 CCL2022 ，继续推出第二届中文空间语义理解评测（SpaCE 2022）。分为如下3个子任务：

子任务1，中文空间语义正误判断：判断给定的中文文本中是否存在空间语义异常。

子任务2，中文空间语义异常归因：识别给定中文文本中空间语义异常的片段及其类型。

子任务3，中文空间实体识别与空间方位关系标注任务：基于给定的空间关系标注规范，对给定中文文本进行空间实体的识别与空间方位关系标注。 组织者和联系人

任务组织者：詹卫东、穗志方（北京大学）

任务联系人：孙春晖、李楠、邢丹、王诚文、岳朋雪、王希豪、邱晓枫等（北京大学）

联系方式：sc_eval@163.com 任务奖项

中国中文信息学会提供的荣誉证书

奖金：总计50000元 任务网址

https://2030nlp.github.io/SpaCE2022/ 任务3：汉语学习者文本纠错评测（CLTC 2022） 任务简介 任务背景

汉语学习者文本纠错任务（Chinese Learner Text Correction，CLTC）旨在自动检测并修改汉语学习者文本中的标点、拼写、语法、语义等错误，从而获得符合原意的正确句子。近年来，该任务越来越受到关注，也出现了一些有潜在商业价值的应用。为了推动这项研究的发展，研究者通过专家标注以及众包等形式构建一定规模的训练和测试数据，在语法检查以及语法纠错等不同任务上开展技术评测。同时，由于汉语学习者文本纠错任务相对复杂、各评测任务以及各数据集之间存在差异，在一定程度上限制了文本纠错的发展。因此，我们希望通过汇聚、开发数据集，建立基于多参考答案的评价标准，完善文本纠错数据及任务，聚焦该研究领域中的前沿问题，进一步推动汉语学习者文本纠错研究的发展。 任务介绍

本次评测既整合了已有的相关评测数据和任务，又有新开发的数据集，以设置多赛道、统一入口的方式开展比赛任务。同时，我们研制了各赛道具有可比性的评测指标，立足于构建汉语学习者文本纠错任务的基准评测框架。 本次评测有以下五个赛道：

（一）中文拼写检查（Chinese Spelling Check）：检测并纠正中文文本中的拼写错误；

（二）中文语法错误检测（Chinese Grammatical Error Diagnosis）：检测出中文文本中每一处语法错误的位置、类型；

（三）多维度汉语学习者文本纠错（Multidimensional Chinese Learner Text Correction）：检测并修改句子中的语法错误，并按照不同维度的参考答案分别进行评价；

（四）多参考多来源汉语学习者文本纠错（Multi-ref