日期
作者
LangChain 团队
LangSmith SaaS

💻 LangSmith 中的自定义代码评估器

日期:
作者: LangChain 团队

您现在可以编写自定义代码评估器并在 LangSmith UI 中运行它们了!

自定义代码评估器允许您使用确定性和特定标准评估实验 - 例如检查有效的 JSON 或评估完全匹配。我们还通过允许导入 numpy pandas 等软件包来支持更高级的用例。将这些与 LLM-as-a-Judge 评估器一起使用,以测试和评估您的 LLM 应用程序。

这些自定义评估器可以在 LangSmith 的 Playground 中跨数据集运行,并且 无需编码。这使得开发人员可以轻松地在 UI 中设置评估器,并在 Playground 中迭代和运行实验时与其他团队成员(如提示工程师或产品经理)协作。

立即在 LangSmith 中试用: smith.langchain.com

在文档中了解更多信息: https://langsmith.langchain.ac.cn/how_to_guides/evaluation/bind_evaluator_to_dataset#custom-code-evaluators

由 LaunchNotes 强力驱动