- 日期
- 作者
- LangChain 团队
LangSmith
🔧 用于发现错误检索和 RAG 幻觉的现成的在线评估器提示
日期:
作者: LangChain 团队
LangSmith 的在线评估器 (LLM 即评委) 在生产跟踪中自动运行,并使用可自定义的提示和自动化规则。我们的新型现成评估器提供了可用于以下操作的自定义提示:
标记检索到的文档是否与用户输入问题相关(文档相关性)
检查 RAG 响应中是否存在幻觉(幻觉)
检查 RAG 答案是否有助于回答问题,而无需真实答案(答案帮助性)
根据具体标准标记,例如毒性(标记)
奖励:观看此视频或 查看文档以了解如何使用 LangSmith 设置防护栏,以检测用户输入中是否存在 PII 或有毒查询。