Yihui’s Blog

如何构建RAG系统的Ground Truth数据集?标注方法有哪些?

日期:2026-09-27
标签:#面试 #AI应用开发 #RAG #知识工程
难度:中等
来源:牛面题目详情

一句话答案

RAG的Ground Truth至少要包含问题、相关证据和可接受答案,才能分别评测检索与生成。

面试回答要点

  • 样本可从真实查询、专家编写或文档驱动的合成问答获得。
  • 标注相关文档片段、答案、不可回答情形和必要的来源。
  • 分层抽检、双人标注或争议仲裁可提高一致性,并避免训练集泄漏。

自测

  • 不看笔记,用 60 秒回答:如何构建RAG系统的Ground Truth数据集?标注方法有哪些?
  • 结合自己的项目,补充一个具体场景、指标或取舍。
Maintained by · YihuiEdit on GitHub

Keep reading

View all posts

RAG 系统中如何处理多跳问答(Multi-hop QA)?

日期:2026-09-27 标签:#面试 #AI应用开发 #RAG #多跳问答 难度:困难 原题:牛面题目详情 一句话答案 多跳问答要找齐相互依赖的证据:把复杂问题拆成子问题,按依赖顺序检索并验证每一跳,再基于完整证据链作答和引用;证据不足时继续检索或拒答。 面试口语版(约 60 秒) 普通 RAG 用原问题检索…

Read article

题目模板:把用户提问写成面试与学习笔记

复制本文件的结构到对应题目文件,替换提示文字;没有解释价值的小节可以删去。不要把待填提示或未经核验的事实当作答案发布。 (填写题目原文) 日期:YYYY-MM-DD 标签:#面试 #AI应用开发 #RAG #知识工程 难度:(按题目实际难度填写) 来源:(若改写已有题目,填原题直达链接;自拟题写“用户提问”,不要…

Read article