🔁 LangSmith 中自我完善的 LLM 评估器

日期： 2024 年 6 月 26 日

作者： 朗链团队

使用“LLM 评测模型”是给 LLM 应用程序输出评分的常用方法。这涉及将生成输出传递给另一个单独的 LLM，然后要求它对输出进行判断。但是，确保 LLM 评测模型执行良好需要进行另一轮提示工程。谁来评估评估者？

LangSmith 通过允许用户更正 LLM 评估模型反馈来解决这个问题，然后将更正储存为少量样本，用于调整/改进 LLM 评测模型。在无需手动调整提示的情况下改进未来的评估，确保测试更准确。

在我们的博客中了解详情。