- 日期
- 作者
- LangChain 团队
LangSmith SaaS
💻 LangSmith 中的自定义代码评估器
日期:
作者: LangChain 团队
您现在可以编写自定义代码评估器并在 LangSmith UI 中运行它们了!
自定义代码评估器允许您使用确定性和特定标准评估实验 - 例如检查有效的 JSON 或评估完全匹配。我们还通过允许导入 numpy
和 pandas
等软件包来支持更高级的用例。将这些与 LLM-as-a-Judge 评估器一起使用,以测试和评估您的 LLM 应用程序。
这些自定义评估器可以在 LangSmith 的 Playground 中跨数据集运行,并且 无需编码。这使得开发人员可以轻松地在 UI 中设置评估器,并在 Playground 中迭代和运行实验时与其他团队成员(如提示工程师或产品经理)协作。
立即在 LangSmith 中试用: smith.langchain.com
在文档中了解更多信息: https://langsmith.langchain.ac.cn/how_to_guides/evaluation/bind_evaluator_to_dataset#custom-code-evaluators