直接回答:一句话决策:教模型“知识与事实”用 RAG,教模型“行为与能力”用微调。知识会过时、需要溯源、量大——塞检索;风格、格式、领域术语的表达方式、特定推理模式——靠微调。两个维度都有的场景就组合:微调定行为基线,RAG 供实时知识。
展开解析:决策清单逐项过:数据时效性——知识每周更新选 RAG,微调跟不上更新频率;可解释性——要引用来源的合规场景必须 RAG,微调无法溯源;数据规模——几千条以下选 RAG,微调数据不够反而伤模型;领域术语密度——垂直领域黑话连篇,轻量微调让模型“听得懂”比纯检索有效;隐私合规——数据不能出内网两者都行,但微调后的模型权重本身就是敏感资产要同等管控。成本账:RAG 前期便宜(搭检索链路),长期有推理时延与上下文成本;微调前期贵(数据加工加训练),推理时与普通模型无异。组合模式:先微调让模型掌握领域表达与任务格式,再接 RAG 补事实,注意微调数据里就要带“基于给定资料回答”的样本,否则模型会无视检索结果凭记忆答。反模式提醒:指望微调记住海量产品文档(记不住且过期)、指望 RAG 教会模型输出特定 JSON schema(该用微调)。
追问方向:长上下文模型普及后 RAG 还有必要吗?微调的幻觉如何定量评估?
(约 470 字)