W5 代码练习打卡清单
RAG 优化 / 评测 / 增量更新 · 里程碑 M1 · 周一至周日

规则：每个文件先读完讲解、再运行末尾自测，全部 PASS 才勾选对应任务。勾选状态保存在本浏览器。

配套目录：agent-learning-w5/预计每日 5–7 小时周日 2–3 小时交付：M1 + 评测报告

本周进度

0 / 0

M1 验收标准（周日）

每项优化相对 baseline 都有量化提升（Recall/Faithfulness/成本表）
更新单个文档无需全量重建、且可回滚
能答出"Recall@5 是多少、baseline 是多少、怎么分布"

周一Day1 · 混合检索 BM25 + 向量 + RRF纯本地day1_hybrid.py

打卡任务

讲清"纯向量 vs 纯 BM25"各自的短板互补
理解 RRF score=Σ1/(k+rank)，为何只用排名不依赖分数可加性
跑通三路对比，输出 Recall@K
自测 PASS：python day1_hybrid.py
能说明"离线哈希向量下 RRF 为何暂未赢，真实 Embedding 下预期变化"

验收标准

融合召回 ≥ 单路最差，趋势上讲得清
能画出 Bi-Encoder 一次算全部 vs Cross 逐对

重难点

RRF 免调参比 weighted sum 稳
离线 n-gram 哈希与 BM25 撞脸→融合收益需真实模型验证

周二Day2 · Rerank 精排内置启发式day2_rerank.py

打卡任务

讲清"粗排 Top-30 → 精排 Top-5"两阶段范式
讲清 Bi vs Cross-Encoder 的精度/成本差异（为何 Cross 不能预计算）
跑通启发式精排，验证"年假上限"被精排到前部
自测 PASS：python day2_rerank.py
说明真实场景如何把启发式换成 bge-reranker 服务

验收标准

能答成本模型：纯 Cross 全库 = O(N) 推理 vs 两阶段只 30 次
位置/覆盖率/长度三大打分信号讲得清

重难点

精排价值=把精炼上下文喂给 LLM，控成本+控上下文

周三Day3 · 评测集工程 ≥100 题纯本地day3_evalset.py

打卡任务

理解"评测集=决策依据"，为何要分层+含负例
跑通生成 evalset.jsonl，确认 ≥100 题、类型/难度分层统计
理解 gold_sources 的作用与"必须能溯源"
自测 PASS：python day3_evalset.py，gold 全部溯源通过
能给自己的领域补一批真实标注题

验收标准

题型含 single/multi/neg/out，难度分 easy/medium/hard
gold_source 都能在 corpus 中找到

重难点

负例(neg/out)测拒答能力，不能只有正例
题数<100 → 改一个样本会翻转结论，不可靠

周四Day4 · 检索指标 + baseline 对比表纯本地day4_retrieval_metrics.py

打卡任务

能分别讲清 Recall@K / Precision@K / HitRate@K / MRR@K
跑出 vector/bm25/rrf 三行对比表
理解"逐题算均值避免总分被长 gold 题主导"
自测 PASS：python day4_retrieval_metrics.py
能解释本场景 RRF 未超单路的原因与真实模型下的变化

验收标准

四指标含义张口能答
能报出你的 Recall@5 数值与分布

重难点

指标答"不同维度的质量"，要看全这张表而非单一数字

周五Day5 · 生成评测 Faithfulness + 相关性离线可跑day5_gen_metrics.py

打卡任务

讲清 Faithfulness(防幻觉) vs 相关性(防跑题)
理解 LLM-as-Judge 可信化三要点：固定模板/温度0/只输出0-1
离线跑通启发式打分流程：--offline
配 Key 跑一次真实 Judge：--sample（可选）
知道"judge 不稳先修 judge 而非改答案"

验收标准

能拆 answer→claims 逐个判是否被 context 支持
分数落在 0~1，异常时能定位

重难点

一致性抽检(与人工比较)是 judge 可信的落点

周日Day6 · 增量更新 + 回滚（M1 交付）纯本地day6_incremental.py

打卡任务

理解 content hash 判断"变没变"，只有变了的才重算
讲清"先删后增"为何避免新旧混存
跑通相同跳过 / 变更更新 / 回滚三场景
理解版本号+history 让回滚可用
能指出冲突文档只在 RAG 层提示拒答/择优，不交给模型自洽

验收标准

单文档增量更新不需全量重建、可回滚
更新后旧 chunk 无残留、count 一致

重难点

增量=10^4~10^6 文档不炸成本的必由之路
回滚=生产可退的思想在知识库的体现