RAG Embedding 模型怎么选?

30 秒回答

1. 语义理解能力与任务匹配度
2. 上下文长度支持
3. 多语言与跨语言能力
4. 推理效率与成本权衡

回答与解析

答案要点

• 语义理解能力与任务匹配度
• 上下文长度支持
• 多语言与跨语言能力
• 推理效率与成本权衡
• 领域适配性与微调可行性

核心选型维度

1. 语义能力与任务匹配

• 区分度：同类文档能否拉开向量距离（如BGE、GTE在中文场景表现好）
• 粒度匹配：句子级vs段落级检索，长文本需用支持长上下文的模型（如M3E、BGE-large支持512-8192 tokens）

2. 语言覆盖

• 纯中文：BGE、GTE、M3E等国产模型更优
• 多语言/跨语言：OpenAI text-embedding-3、E5-mistral等多语言模型
• 代码检索：需CodeBERT、CodeT5等专用模型

3. 效率与成本

• 模型大小：小模型（如BGE-small，~30MB）vs大模型（如GTE-large，~1GB）
• 推理速度：QPS要求高的场景优先轻量模型或ONNX/TensorRT加速
• 部署成本：云端API vs 私有化部署的硬件约束

4. 领域适配

• 通用领域：直接用开源SOTA模型
• 垂直领域（医疗、法律）：检查领域术语的编码质量，必要时用领域数据微调

5. 工程兼容性

• 输出维度：常见768/1024维，需与向量数据库匹配
• 归一化：是否输出单位向量，影响相似度计算方式（cosine vs dot）

快速验证方法

用业务真实Query-Document对，计算Top-K召回率和MRR，比榜单指标更可靠。

口语版讲法(约4分钟)

• 一针见血：选Embedding模型本质是trade-off，没有银弹
• 场景决定模型：中文、多语言、代码各有侧重
• 效率与成本的现实权衡：小模型加加速 vs 大模型
• 领域适配和工程兼容的坑：微调与维度匹配
• 收尾并给出可延伸点：验证方法决定成败，追问微调策略

这道题其实是在问：你面对一个具体的检索场景，怎么在语义能力、效率、成本和工程兼容性之间做取舍，没有一个模型能通吃所有场景。

先说语义能力，这得看你的任务。如果你做中文客服，比如用户问订单状态，你想召回退款政策，那国产模型像BGE、GTE就够用，它们在中文上区分度很好，同类文档能拉开距离。但如果你做多语言支持，比如全球电商平台，那得用OpenAI的text-embedding-3或者E5-mistral。代码检索又是另一种，得CodeBERT那种专门的模型。

这里有个边界：句子级和段落级检索要分开。你的文档如果是一段长说明，比如企业SOP，那模型得支持长上下文，像BGE-large能处理512到8192个token，而有些小模型只支持128，直接截断会丢信息。真正落地时，我常常混用，短查询用轻量模型，长文档用大模型，或者先做Chunk再分别embed。

再一个关键点是效率与成本。你线上QPS要求高，比如客服系统每秒几百个请求，那模型大小和推理速度就是命门。BGE-small才30MB，跑得飞快，但召回率可能差一点；GTE-large一个G，精度高但延迟大。我倾向小模型加加速，比如用ONNX或TensorRT，能压到几毫秒，比直接上大模型划算。如果预算够，也可以用云端API，但注意数据隐私，有些公司不允许文档出域。

领域适配也是个坑。通用场景直接拿开源模型就行，但垂直领域像医疗或法律，你得检查模型在术语上的编码质量。比如一个医疗诊断系统，'心肌梗死'和'心绞痛'的向量距离如果太近，召回就乱。前提是得有领域数据做验证，不行就微调。微调不贵，用LoRA在几百条数据上跑几小时，效果提升明显。

工程兼容性容易被忽略。输出维度是768还是1024？得和你的Vector Database匹配，不然存不进去。还有归一化，模型输出是不是单位向量？这决定了相似度计算用cosine还是点积。上线前我会特别关注，否则线上出现维度不匹配的报错就尴尬了。

所以整体上，我把选型看成 按场景做减法：先定语言和粒度，再砍成本和延迟，最后用领域数据验证。更倾向先用通用小模型快速验证，再逐步优化。

对了，说到微调，有个细节：不是所有模型都适合微调，有些闭源API只能调用不能调。而且微调数据怎么构造也很讲究，比如用对比学习还是用排序学习，效果差很多。

总之，没有银弹，每个决策背后都是 trade-off。

关键一句:微调Embedding模型时，不同构造策略（对比学习 vs 排序学习）对效果影响很大，且不是所有模型都支持微调。

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你要给一个电商客服系统做RAG，用户问“这款手机怎么样”，需要检索相关产品文档。你会选哪个Embedding模型？从哪些方面考虑？

2. 问法 2 · 层层追问

   RAG里Embedding模型怎么选？……你觉得主要看哪些因素？……如果文档很长，比如产品说明书有几千字，模型长度不够怎么办？……

3. 问法 3 · 直球架构

   让你为一个RAG系统选Embedding模型，给出选型的关键因素和评估方法，从语义能力、效率、领域适配这些方面讲。注意结合具体业务场景。