近日，2020年第九届国际对话技术竞赛DSTC9陆续公布了各赛道排名，百度参与其中4项任务的角逐，并在最终的榜单中拔得头名，全面涵盖了开放域闲聊、知识对话、任务型对话等关键技术问题。据悉，百度在这些任务中所使用的核心技术，均基于其最近开源的开放域对话模型PLATO-2。
据了解，PLATO-2 是基于隐空间技术的大规模开放域对话模型，参数规模高达16亿，可就开放域话题深度畅聊，在中英文效果上，已全面超越Google Meena、Facebook Blender、微软小冰等先进模型；其中文模型也已开放试用接口服务，为实现人机自由对话梦想贡献一份力。
从“一对一”到“一对多” PLATO-2展现对话领域强大通用能力
随着科技的不断进步，智能对话正在成为大家喜爱讨论的热点话题，大家愈来愈习惯性以语言来和设备开展沟通交流。但无论是在哪种场景下，智能助手与真实能与人们就开放话题进行自然的对话依然有差距。
对于这一难题， 各大科技公司使用大规模的类人对话语料，基于预训练技术，在对话生成上取得了可喜进展，如今很多对话模型已能仿真模拟产生与人类相仿的对话。可是，巨大的对话语料库下掩藏着丰富多彩的背景信息，一样的对话上文能够有各种不同的回应，那样“一对多”难题依旧是当今对话系统软件遭遇的一个关键难题。
针对这一难题，百度提出了带有离散隐变量的PLATO-2模型，可以对“一对多”问题进行有效建模，且基于课程学习的方式进行大规模模型的高效训练。其过程包括两个阶段：第一阶段，基于简化的“一对一”映射，训练得到基础的回复生成模型；第二阶段包含生成-评估两个模型，针对开放域对话的“一对多”问题，通过引入离散隐变量进行建模，训练得到更高质量的回复生成模型，同时训练评估模型，从多个候选中选择出最合适的回复。
而在此次竞赛中，百度也证明了通过PLATO-2在对话领域强大的通用能力，可以在预训练各个阶段获得可广泛支持多种类型对话系统的模型。
逐步优化参数、加快训练效率 PLATO-2斩获四项任务冠军
在Track-1中，赛方就从回复中知识的准确度以及回复与上文的合适度出发，来综合考验训练模型。
面对该难题，百度基于预训练模型进一步训练了前两个子任务的分类和排序模型，从而实现精准的知识选择，并得以辅助PLATO-2模型生成知识增强的回复。如下图示例，系统根据对话上文，从大规模知识库中选出合适的知识，并合理的利用知识生成了高质量的回复。最终，百度在第一赛道的人工评估中，排名第一。
和Track-1 类似，Track-2也是面向任务型的对话系统，但没有使用额外的非结构化知识，且该赛道共有2个独立的子任务。百度参与了子任务1，并在最终的人工评估中，与另外一个团队并列第一。基于PLATO-2第一阶段模型，百度在该跨领域任务对话上进行了Fine-tuning，模型可以端到端的生成对话状态、对话动作以及高质回复。
值得一提的是，在子任务1评估中，还考虑了宽松和严格2种场景下的任务成功率，百度在该指标下排名第一，显著超越了其他系统。最终的榜单为宽松和严格评估的均值，百度和另外一个团队并列第一。
相比于前两个赛道，Track 3更接近开放域对话问题。它的特点是对于聊天的范围不设限制，也没有明确目标，以能和人类进行自由、有趣的交流为目的。在子任务1的考核中，赛方会从流畅性、相关性、准确度、参与度等8个方面对回复进行打分，并给出整体得分。榜单上，有3组模型的结果比较接近，最终并列头名，据悉前2组结果均为百度提交的不同参数设置下的PLATO-2模型。
在子任务2中，更加注重开放域的人机交互效果，而这恰恰是PLATO-2的擅长之处。最终结果显示，该榜单前2名均被百度包揽，其中百度开源的PLATO-2模型排名第一。
事实上，如此大规模模型训练与百度深度学习平台强大的并行能力支持密不可分。 PLATO-2包含中英文两个部分的模型。其中，中文模型基于12亿中文开放域多轮对话样本进行训练，而英语模型则基于7亿英语开放域多轮对话样本进行训练。在PLATO-2的训练过程中，还利用了飞桨Fleet库的并行能力，使用了包括Recompute,混合精度训练等策略，基于高性能GPU集群进行训练。
如今，百度基于PLATO-2在对话内容方面的强大能力，让其丰富度和连贯性上展现出了新的高度，且有望为智能对话开辟出全新的领域。百度PLATO-2英文模型和训练代码已经在GitHub开源。
