新的Microsoft工具可让开发人员使用文本描述初创公司AI行为测试

人工智能研究人员和实验室在评估人工智能模型的各个方面都取得了长足的进步，从安全性和合规性到阿谀奉承和一致性。但公司和开发人员似乎面临着一个新的特定需求：确保他们的人工智能系统按照其特定产品或服务的预期运行。

为了简化测试过程，Microsoft周二揭开了ASSERT的面纱，这是评估和回归测试的自适应规范驱动评分的缩写。

Microsoft表示，该开源框架通过使用人工智能将目标、政策或预期行为的高级自然语言描述转化为可调查的彻底的评分测试，使评估特定于应用程序的人工智能行为变得容易。

ASSERT采用对AI模型的预期行为和策略的简单语言描述，将它们转换为一组结构化的可接受和不可接受的行为，生成问题场景和测试用例，针对目标系统运行它们，并对结果进行评分。它还可以记录人工智能系统所采取的路径，包括中间操作和工具调用，以便开发人员可以检查发生故障的位置。

如果开发人员想要进一步定制评估涵盖的内容，他们也可以提供系统上下文、工具和约束。

例如，开发人员可以指定文档研究AI代理不应向公司外部的人员发送电子邮件，并且应将机密信息限制为C级管理人员，并在考虑到先前上下文的情况下提供简洁的摘要。 ASSERT将使用这些规则生成测试用例，以检查系统是否持续遵循这些规则。

据Microsoft的说法，当人工智能模型的行为方式是由应用程序或产品的环境、政策和工具决定时，该框架填补了更广泛、更一般的评估所无法做到的空白。

“我们学到的一件事是，评估对于做出正确的决策绝对至关重要，”Microsoft Responsible AI首席产品官莎拉·伯德 (Sarah Bird) 说。 “因为如果你不了解人工智能系统的行为，就很难知道它是否满足你组织的标准……我们发现，如果你真的想拥有一个值得信赖的系统，你应该评估更多特定于应用程序的维度。”

Bird表示，ASSERT可用于在系统构建时、部署后评估系统，甚至用于持续监控。

此次发布正值人工智能行业逐步但更广泛的转变之际。随着模型的能力变得越来越强大，研究人员正在专注于可重复的测试和回归检查，斯坦福大学的HELM、MLCommons的AILuminate以及METR等评估小组推出了基准来衡量模型在不同条件下的表现。