LLM 事实准确性怎么保证?

30 秒回答

1. 区分幻觉类型（事实性vs推理性）并针对性治理
2. RAG与知识图谱结合的检索增强方案
3. 多模型交叉验证与一致性约束机制
4. 金融领域特有的监管合规与可审计性设计

回答与解析

答案要点

• 区分幻觉类型（事实性vs推理性）并针对性治理
• RAG与知识图谱结合的检索增强方案
• 多模型交叉验证与一致性约束机制
• 金融领域特有的监管合规与可审计性设计
• 量化评估与持续监控体系

核心挑战分析

金融领域幻觉代价极高，需区分两类：

• 事实性幻觉：利率、股价、法规条款等可验证事实错误
• 推理性幻觉：逻辑推导过程中的隐含假设偏差

技术方案分层

1. 检索增强层（RAG+）

• 结构化知识优先：对接金融知识图谱（实体关系如"公司-财报-指标"），而非纯文本向量检索
• 多源检索融合：同时查询内部数据库、权威API（Wind/ Bloomberg）、监管文件库，按可信度加权
• 检索结果置信度：对检索空缺字段显式标注"该信息未在知识库中验证"

2. 生成约束层

• 约束解码（Constrained Decoding）：关键数字字段强制从检索结果中复制，非生成
• Chain-of-Verification：先生成回答，再自动提取事实claims进行二次检索验证
• 引用溯源：每个结论强制附加来源编号，支持人工复核

3. 一致性保障机制

• 多模型交叉：主模型+专用校验模型（如训练事实核查分类器）并行输出，不一致时触发降级
• 时序一致性检查：对时间序列数据（如"2023年Q3营收"）校验与历史数据的逻辑连贯性
• 规则硬约束：内置金融规则引擎（如会计恒等式校验），拦截明显违背常识的输出

4. 金融特有设计

• 可审计日志：完整记录检索来源、模型版本、人工复核标记，满足监管要求
• 人机协同阈值：对高风险场景（投资建议、合规判断）设置置信度阈值，低于阈值强制转人工
• 沙箱回测：新模型上线前，用历史金融事件数据集进行事实准确性回测

实施策略

先聚焦高频高损场景（如理财推荐、合规问答）做深度治理，建立"白名单知识库+强约束生成"的标杆案例，再逐步扩展覆盖范围。

口语版讲法(约4分钟)

• 问题本质：金融场景下事实准确与逻辑一致，本质是降低不可控风险
• 核心分类：事实性幻觉和推理性幻觉，治理策略不同
• 分层方案：检索增强层（RAG+知识图谱）和生成约束层（约束解码、验证链）
• 金融特有设计：可审计日志、人机协同阈值、沙箱回测
• 落地风险：对高频高损场景先治理，注意检索质量前提

这道题问的是金融场景下怎么让大模型不胡说，但我觉得面试官真正想听的，不只是你知不知道有幻觉，而是你有没有意识到，金融领域对事实准确和逻辑一致的要求，本质上是在降低不可控的风险。所以我的思路会围绕两个核心：一是怎么从源头减少错误，二是怎么在生成后兜住错误。

首先得把幻觉分清楚，两类。一类是事实性幻觉，比如利率报错、股价报错，法规条款写错，这属于可验证的事实错误。另一类是推理性幻觉，比如推导过程里隐含假设错了，导致结论不对，但每句话单独看可能都对。治理策略不一样：事实性靠检索增强，推理性靠约束和验证。

具体方案我分两层讲，先说检索增强层。金融场景里纯文本向量检索不够，因为很多信息是结构化的，比如公司财报里的指标、实体关系。所以我倾向用 知识图谱 加 RAG 的组合，先把高频实体和关系做成图谱，查询时优先走结构化检索，再补向量检索。检索源要分层，内部数据库、权威API像Wind、Bloomberg、监管文件，按可信度加权。这里有个坑：检索不是查到了就行，要显式标注置信度，比如某个字段没找到，直接说“未在知识库中验证”，别让模型瞎编。

再说生成约束层。关键数字字段，比如利率、股价，我要求模型从检索结果里直接复制，不能自己生成，这叫 约束解码。另外可以用 Chain-of-Verification，先生成回答，再自动提取里面的事实断言，重新检索验证一遍，不一致就修正。每个结论都要带上来源编号，方便人工复核。

金融场景还有两个特有设计。一是可审计日志，完整记录检索来源、模型版本、人工复核标记，这是监管要求。二是人机协同，对高风险场景比如投资建议、合规判断，设置置信度阈值，低于阈值强制转人工。上线前还要做沙箱回测，用历史金融事件数据集测试事实准确性。

不过这里有个前提，就是检索源本身的质量必须可靠。如果知识库里有错误数据，那检索增强反而会放大错误，所以我会特别关注数据清洗和知识图谱的更新频率。另外，时序一致性也是个常见失败场景，比如去年Q3营收和今年Q2的逻辑关系，需要专门校验。

所以整体上我更倾向先聚焦高频高损场景，比如理财推荐、合规问答，做深度治理，建立白名单知识库加强约束生成的标杆案例，再逐步扩展。你问如果检索质量不够怎么办？那我宁可用更保守的策略，比如降低生成自由度，甚至直接转人工，而不是冒险让模型自由发挥。

关键一句:检索源质量是前提，数据错误会导致检索增强放大错误

面试官还可能这样问

1. 问法 1 · 场景切入

   我看你做过金融领域的问答系统。比如用户问‘现在买入茅台合适吗？’这种投资建议类问题，模型要是随便编个价格或者推荐理由，后果很严重。你怎么保证它给出的数字和逻辑都是对的？

2. 问法 2 · 层层追问

   大模型在金融场景里容易胡说八道，你怎么处理？……具体到事实错误和逻辑推理错误，你会分开治吗？……再进一步，比如它说‘某公司Q3营收增长20%’，你怎么验证这个数字对不对？

3. 问法 3 · 直球架构

   在金融领域，要确保LLM生成内容的事实准确性和一致性，请给出你的技术方案和实施策略。重点讲怎么结合检索增强、约束生成、多模型验证，以及如何满足监管审计要求。