专业领域文档怎么清洗?
RAG 系统中文档预处理策略,提升检索与生成质量
原题：在构建面向专业领域的RAG系统时，应如何对原始文档数据进行清洗和预处理以提升检索与生成质量？
文档处理 · 字节真题
回答与解析
一、通用清洗层（基础）
- 格式标准化：统一编码、去除乱码、转换PDF/Word等为纯净文本
- 噪声过滤：剔除页眉页脚、水印、重复段落、HTML标签
- 语言检测：过滤非目标语言片段，避免多语言混杂污染embedding空间
二、领域特化清洗（关键）
- 术语规范化：建立领域词典，统一缩写（如"ML"→"机器学习"）、消歧同形异义词
- 结构化抽取：识别标题层级、章节边界、列表项，保留文档逻辑结构
- 实体标注：预标注关键实体（产品名、法规条款、技术指标），辅助后续分块语义完整性
三、智能分块策略
| 文档类型 | 分块方式 |
|---|---|
| 技术手册 | 按章节/功能模块切分，保持上下文完整 |
| 论文 | 按摘要、方法、实验等结构化切分 |
| 问答对 | 保留Q-A完整性，避免切断 |
| 表格 | 整表或按行切分，附加表头元数据 |
- 动态分块：结合语义边界（如BERT-based分割）而非固定token数
- 重叠窗口：比较无重叠、短重叠和较长重叠候选，验证跨块召回与冗余成本
四、元数据与向量化增强
- 元数据保留：来源文档、章节层级、发布时间、版本号，用于检索过滤和重排序
- 多向量表示：长文档同时存储文档级摘要向量 + 细粒度段落向量
- 领域适配：用领域语料微调embedding模型，或训练领域特定的BGE/M3E
五、质量闭环
- 建立清洗效果指标：分块语义完整性评分、术语覆盖率、信息密度
- 通过检索命中率和生成事实性反向驱动清洗规则迭代
学习建议
建议系统学习该知识点
口语版讲法(约4分钟)
- 本质是边界划分与工程取舍
- 通用清洗+领域特化
- 分块策略与动态切分
- 元数据与向量化增强
- 质量闭环与风险意识
这道题问的是文档清洗预处理，其实本质是在问：你如何在信息密度和检索效率之间做取舍，同时避免污染生成质量。很多人在做领域 RAG 时只关注模型或检索策略，但数据源头要是脏的，后面怎么调都没用。
先说通用清洗层，这层是必须做的，但别做过头。格式标准化、去乱码、过滤页眉页脚这些是基本功。但有个坑：过度清洗可能会丢掉有价值的信息。比如技术手册里的页脚可能是版本号，你一刀切掉，后面检索时版本匹配就出问题。所以我会把这层当成「安全网」，只做保守操作，把判断权留给后面。
真正拉开差距的是领域特化清洗。举个例子，在企业合规文档场景里，同一个缩写在不同部门含义完全不同，比如“PP”在财务是采购订单，在法务是隐私政策。所以我会事先建立领域词典做术语规范化，把缩写统一展开，同形异义词根据上下文消歧。另外，结构化抽取也很关键，比如技术手册按章节、论文按IMRaD结构识别边界，这直接决定了后续 Chunk 的语义完整性。
然后是分块策略，这块我倾向动态分块而非固定 token 数。固定切分容易把逻辑上完整的段落拦腰切断，导致检索时召回一堆碎片。我一般会结合语义边界，比如用 BERT 做分割点检测，或者直接利用文档原有的标题层级。对于表格，我通常整表保留，并附加表头元数据，因为单独切一行会丢失上下文。重叠窗口不能默认必加；我会把无重叠、短重叠和较长重叠放进同一评测集，比较跨块召回、答案质量和冗余成本。
元数据和向量化增强这块容易被忽略，但实际效果很明显。我会保留来源文档、章节层级、发布时间这些元数据，这样检索时可以按时间或来源过滤，重排 时也能加权。对于长文档，我同时存文档级摘要向量和细粒度段落向量，这样既能快速定位相关文档，又能精确命中具体段落。embedding 模型最好用领域语料微调一下，否则通用模型在专业术语上表现很差。
质量闭环是上线前必须做的。我会建一套清洗效果指标，比如分块语义完整性评分、术语覆盖率。上线后通过检索命中率和生成事实性来反向驱动清洗规则迭代。常见失败场景是：清洗规则太激进，导致某些低频但重要的术语被误删，生成时 Hallucination 反而增加。所以上线我会特别关注那些长尾 query 的召回变化。
说到质量闭环，其实还有一个延伸点：清洗规则本身可以自动化迭代。比如用 LLM 做清洗质量评估，或者用 NER 模型自动检测术语覆盖率，这样能减少人工维护成本。但前提是领域语料足够丰富，否则模型自己也会出错。
所以整体上，我更倾向把文档清洗看成一套持续迭代的工程系统，而不是一次性预处理。核心思路是：清洗宁可保守，不要激进；分块先保语义边界，再用评测证明是否需要重叠；元数据宁可多存，不要漏掉。这样虽然前期工作量稍大，但后期检索和生成质量会稳定很多。
关键一句:清洗规则可以自动化迭代，比如用LLM评估清洗质量或用NER检测术语覆盖率。
面试官还可能这样问
- 问法 1 · 场景切入
假设你在做医疗领域的知识库问答，原始文档有各种PDF、网页和扫描件，里面还有不少表格和图注。用户问“青霉素的用量”，结果模型老答不对。你觉得问题可能出在数据清洗上？你会怎么处理这些文档才能让检索和生成靠谱一些？
- 问法 2 · 层层追问
RAG里检索质量很关键，你一般怎么清洗文档？……如果文档里有大量专业术语，比如“PM”可能是项目管理也可能颗粒物，你怎么处理？……再比如技术手册，你是一个section一个section切，还是怎么切？怎么保证语义完整？
- 问法 3 · 直球架构
对于专业领域RAG，原始文档清洗和预处理需要哪些步骤？请从通用清洗、领域特化、分块策略和元数据增强几个层面说说你的设计思路，以及如何评估清洗效果。