9月25日，四川新网银行一项正申请专利的发明“多智能体协同的大模型多轮对话能力自动评估方法及系统”公布。其申请于2026年5月26日，涉及人工智能技术领域。

该发明解决了迫切需要一种高效、自动化、可量化、低成本且覆盖全面的大模型多轮对话能力评估方法的问题。其包括以下步骤：S1：根据目标评估需求，为用户模拟智能体配置用户角色属性；S2：用户模拟智能体根据设定的对话场景与被测大模型进行多轮对话，得到多轮对话样本；S3：评价智能体基于目标评估需求对多轮对话样本进行评估，并输出评估结果。该发明通过三类智能体的协同工作，实现了对面向语音对客场景的大语言模型的高效、全面、可量化的自动化评估，显著提升了评估效率与精度，为模型迭代优化提供了明确方向。

该发明的背景为，大语言模型（LLMs）凭借其强大的自然语言理解和生成能力，正迅速应用于各类语音对客服务场景中，充当“数字员工”角色，实现业务办理、客户咨询、问题解答、营销推广等任务的拟人化交互。然而，在实际应用中，如何高效、准确、可量化地评估此类大模型在特定场景中的表现，成为技术落地的关键挑战之一。目前行业普遍依赖传统主观体验和人工电话拨测来评估此类模型的多轮对话效果，此类方法虽然能够一定程度上反映模型的交互质量，但存在以下显著缺陷：

1.测试效率低下：人工电话拨测需投入大量人力资源，单次测试周期长，无法满足大规模、高频率的模型迭代需求。

2.人力成本高昂：依赖人工评估导致运营成本急剧上升,评估结果易受主观因素影响，一致性较差。

3.场景覆盖有限：人工测试难以覆盖全部业务场景和边缘案例导致评估结果的全面性和代表性不足。

4.缺乏量化标准：主观评价难以形成统一、可量化的指标体系不利于模型的横向对比与优化迭代。

5.响应延迟严重：从测试到反馈的周期较长,拖慢模型优化和产品上线的整体进度。

因此，迫切需要一种高效、自动化、可量化、低成本且覆盖全面的评估方法，以支撑面向语音对客的LLMs的持续优化和高效落地。

该发明提供了多智能体协同的大模型多轮对话能力自动评估方法及系统，用于高效、客观、全面、可量化地评估面向语音对客场景的大语言模型在多轮对话中的综合表现，显著提升评估效率与精度，降低人工依赖与成本，加速模型迭代优化。

责任编辑：佟桃梨