
ACL 是 NLP 领域学术影响力最高的国际会议,其诞生于人工智能技术发展的早期,至今已举办61届。今年会议的研究议题覆盖了大模型、机器翻译、情感分析、对话和交互系统等26个领域,涌现了大量创新成果,阿里巴巴是历年来论文收录数量最多的机构之一。
大模型是本次会议最热门的研究领域,阿里达摩院的获奖论文聚焦大模型的问题本质,针对大模型知识记忆和理解等知识幻觉相关问题提出了新的分析。研究团队认为,尽管大模型将人工智能的智能水平提升了一个台阶,但当用户提出知识型问题,大模型依旧会回复看似符合逻辑,但错误或并不存在的信息,该问题极大地制约了大模型的应用场景。
通过设计探针任务,该论文系统研究BERT、ChatGPT等预训练大模型对本体类型知识 (实体、关系、类、属性等)的记忆和理解程度,结果表明,预训练大模型编码了一定的本体性知识,并能利用记忆的知识进行推理,然而,当前大模型对本体知识的记忆和理解能力存在局限性。这为未来大模型的发展提供了新的方向。
该研究团队表示,“大模型要进一步发展必须解决知识幻觉问题,幻觉是缺少知识的后果之一,我们需要持续分析模型对世界知识掌握的准确性,并找到该技术路径的突破口,帮助业界对大模型有进一步的理解和认识,并有针对性的进行模型训练。”
在ACL 2023同期举行的全球规模最大的语义测评竞赛SemEval上,阿里达摩院还蝉联了唯一“最佳系统论文奖”。阿里达摩院联合上海科技大学、浙江大学等提出了U-RaNER统一检索增强方法,模仿人类从多源渠道查找知识并利用海量的新知识去更好地理解任务,以此来缓解预训练模型本身知识不足的问题,该方法在知识密集型的多语言细粒度命名实体识别任务上的效果大幅度领先国内外团队,在评测中取得9项冠军。