LangSmith 中的回归测试、快捷键等等

• 改进的回归测试体验： 对 LLM 应用程序进行更改时，了解相较于先前的测试用例，行为是否退步，这点非常重要。对于提示、检索策略或模型选择方面所做的更改可能会对应用程序所产生的响应造成重大影响。我们已更新“对比视图”，以方便您探索多个实验的数据

  • 我们已发布更多显示选项，以便您自定义想要查看的信息粒度。查看您认为重要的列、数据点和图表。

  • 自动突出显示与基线相比在评估指标上提升或下降的测试运行，并进行筛选以仅显示偏差运行。

  • 改进的侧面板视图允许您深入了解您感兴趣的特定运行的详细信息。

查看我们的 视频演练 和 博客 以了解详情！

我们还在 LangSmith 中提供了一些新增更新

• 注释队列中的热键： 我们已在注释队列中引入了热键，以帮助您更快地浏览 ！现在，在支持键盘快捷方式的按钮旁边查找热键指示符。

• Handlebars 支持： 您现在可以选择在 Playground 和 Prompt Hub 中使用 F 字符串和 Handlebars 在提示符之间切换模板语言。这使得您在管理和设置变量格式方面具有更大的灵活性。

• 评估： 我们新的 视频系列 向您展示了 LangSmith Experiments 如何帮助您增加测试覆盖率、发现回归，并在延迟、成本和质量方面做出明智的权衡。我们发布了三项更多概念，重点关注 RAG 评估，向您展示如何评估响应质量：正确性 (视频、文档）、幻觉 (视频、文档）和检索文档相关性 (视频、文档）。

• Azure Marketplace：我们很高兴地宣布 LangSmith 现在可在 Azure Marketplace 中使用。使用 Azure 积分通过 Azure Marketplace 购买 LangSmith 时，你的数据将完全包含在 Azure VPC 中，便于部署，并体验更轻松的采购流程。详细了解我们的 博客 以及 联系销售人员 以与我们的专家探讨。