使用诊断2026-09-124 分钟阅读

如何识别模型输出是否出现退化

把“感觉变差”转成可检查的任务样本与信号。

先定义可观察信号

常见信号包括事实错误增加、格式不稳定、工具调用遗漏、回答明显变短或同一提示多次波动。单次回答不够说明退化，应收集可重复的样本。

挑选覆盖写作、代码、检索和结构化输出的固定任务，保存预期约束而非追求唯一答案。每次变更模型、提示词或工具后都复跑。

上下文长度、附件、网络工具、账户权限和提示词改动都可能改变结果。记录这些变量，避免把相关性误判为模型本身的问题。