我们很高兴宣布推出注释规则 (Annotation Rubrics)，这是我们最新的 LangSmith 功能，旨在简化引导式注释工作流程。无论您是与主题 matter 专家 (SME) 还是非技术团队合作，现在创建高质量的 ground truth 都变得更加简单。

新功能？

队列级别说明 (Queue-Level Instructions)：添加自定义说明，注释者可以在侧边栏中看到每次运行的说明。这确保了您评估过程的清晰度和一致性。
反馈标签 (Feedback Tags)：定义注释者将在侧边栏中看到的反馈键，让您可以完全控制反馈的结构。
关键描述 (Key Descriptions)：为每个反馈键或类别添加详细描述，使您的规则清晰且可操作。

为什么注释规则很有用

• 更好的 ground truth 创建：引导式规则减少了歧义，帮助 SME 生成准确且一致的注释。

• 增强的 trace 修订：清晰的反馈结构简化了 LLM 评估中问题的识别，从而实现更快、更可靠的迭代。

• 轻松协作：非技术团队现在可以自信地入职和注释，弥合技术工作流程和领域专业知识之间的差距。

在我们的文档中了解更多信息： https://langsmith.langchain.ac.cn/evaluation/how_to_guides/annotation_queues#annotation-rubric