企业完成鼎上注册后如何实现智能体自动化评测

企业完成鼎上注册后，可通过鼎上平台内置的自动化评测模块，利用预设评测集和自定义指标，对智能体的回答准确性、逻辑连贯性及业务合规性进行批量测试，从而在版本迭代中持续保障输出质量。

适用情境

自动化评测主要适用于智能体版本更新前的回归测试、新业务场景上线前的质量验收，以及日常运行中的定期质量巡检，帮助团队在无需人工逐一校验的情况下快速定位问题。

可执行步骤

1. 准备与导入评测数据集

在评测管理模块中创建新任务，支持通过表格文件批量导入包含标准问题与期望答案的测试集。构建数据时需确保覆盖核心业务场景及常见的用户长尾提问。

2. 配置评测指标与规则

根据具体业务需求选择或自定义评测指标。除了基础的准确率和召回率，还可利用正则表达式或大模型裁判功能，设定针对特定业务合规性和格式要求的校验规则。

3. 运行自动化评测任务

选择待评测的智能体版本并启动任务。系统会在后台并发调用接口，将智能体的实际输出与期望答案进行自动化比对与计算。

4. 分析评测报告与优化

任务完成后查看可视化报告，重点关注得分较低的不良案例。分析失分原因是提示词缺陷、知识库缺失还是模型能力不足，进而针对性地优化智能体配置。

注意事项

• 数据代表性：评测数据集需随业务发展定期更新，避免使用过时或脱离实际场景的测试用例。
• 指标合理性：避免过度追求单一维度的绝对准确率，而应综合考量回答的灵活性、安全性和整体用户体验。
• 环境一致性：确保评测环境中的知识库、外部插件及模型参数与生产环境保持严格一致，以保证评测结果的有效指导意义。