多模态大模型面临哪些挑战?
模态对齐、数据构建与推理一致性的难点解析
原题：你认为当前多模态大模型在技术发展和实际应用中面临的主要挑战有哪些？例如在模态对齐、数据构建、推理一致性等方面存在哪些难点？
多模态 · 小红书真题
回答与解析
当前多模态模型的挑战要从具体能力说，而不是笼统说看不懂图。CLIP式图文对比学习擅长学习全局语义对应，但全局相似不等于能定位对象、区分属性、读取小字或判断两个对象的空间关系。模型能识别画面主题，也可能在计数、左右、遮挡和指代上失败。
数据是主要限制之一。网页图文对常只有弱相关描述，caption会遗漏画面中的对象、关系与否定信息；OCR、区域短语、跨帧动作和专业图像需要更细的标注。合成描述可以扩量，也会继承教师模型幻觉。训练前要做许可、隐私、去重与细粒度抽检。
评测必须按能力切片。空间与组合推理可用GQA类任务，场景文字可看TextVQA，视频则关注事件顺序、长时依赖和采样遗漏。每个基准也有数据偏差，因此还要保留真实业务失败样本。不能因为某个总分提高，就断言细粒度对齐或长链推理必然改善。
CoT可能帮助模型组织步骤，但生成的理由不一定由视觉证据支持；Agent可以调用OCR、检测器或搜索，RAG可以补外部知识，却都不能自动修复输入中未被识别的对象。工具返回还可能冲突或被错误引用，需要显示区域、帧和文本证据，并在不足时拒答。
跨模态冲突是另一类风险。图像、字幕和用户文字不一致时，模型可能偏向更强的文本先验。需要专门构造冲突样本，测模型是否指出差异，而不是强行融合。医学、身份和内容审核等高风险场景还要做权限控制、隐私处理和人工确认。
系统侧也有成本约束。分辨率、帧数和视觉token增加会抬高prefill与显存，并不保证质量线性提升。我的验收会同时报告grounding、OCR、时序、事实支持率、拒答、延迟和成本。只有具体失败类型减少，才能说明数据、模型或工具方案真正有效。
口语版讲法(约4分钟)
- 拆开粗粒度与细粒度对齐
- 分析数据描述缺失与噪声
- 按空间时序OCR评测
- 限定CoT与外部工具作用
- 覆盖效率和安全治理
当前多模态模型的挑战要从具体能力说，而不是笼统说看不懂图。CLIP式图文对比学习擅长学习全局语义对应，但全局相似不等于能定位对象、区分属性、读取小字或判断两个对象的空间关系。模型能识别画面主题，也可能在计数、左右、遮挡和指代上失败。
数据是主要限制之一。网页图文对常只有弱相关描述，caption会遗漏画面中的对象、关系与否定信息；OCR、区域短语、跨帧动作和专业图像需要更细的标注。合成描述可以扩量，也会继承教师模型幻觉。训练前要做许可、隐私、去重与细粒度抽检。
评测必须按能力切片。空间与组合推理可用GQA类任务，场景文字可看TextVQA，视频则关注事件顺序、长时依赖和采样遗漏。每个基准也有数据偏差，因此还要保留真实业务失败样本。不能因为某个总分提高，就断言细粒度对齐或长链推理必然改善。
CoT可能帮助模型组织步骤，但生成的理由不一定由视觉证据支持；Agent可以调用OCR、检测器或搜索，RAG可以补外部知识，却都不能自动修复输入中未被识别的对象。工具返回还可能冲突或被错误引用，需要显示区域、帧和文本证据，并在不足时拒答。
跨模态冲突是另一类风险。图像、字幕和用户文字不一致时，模型可能偏向更强的文本先验。需要专门构造冲突样本，测模型是否指出差异，而不是强行融合。医学、身份和内容审核等高风险场景还要做权限控制、隐私处理和人工确认。
系统侧也有成本约束。分辨率、帧数和视觉token增加会抬高prefill与显存，并不保证质量线性提升。我的验收会同时报告grounding、OCR、时序、事实支持率、拒答、延迟和成本。只有具体失败类型减少，才能说明数据、模型或工具方案真正有效。
对于模态冲突，我会设计成对样本：保持图像不变只改文本，或保持文本不变替换关键对象，观察答案是否随真正证据变化。这样的反事实测试比单个总分更能发现模型依赖语言先验。若接入OCR或检测器，也要记录工具错误，避免把外部组件的幻觉算成模型推理能力。
训练中可以加入区域标注、OCR框、时间片段和困难负例，但每种监督都增加成本，是否有效要在相应失败桶验证。若模型只在公开基准进步而真实低清、遮挡和专业样本不变，就不能宣称多模态能力整体提升。
关键一句:为什么CLIP式全局对齐不能直接推出细粒度空间和OCR能力。
核验来源
面试官还可能这样问
- 问法 1 · 场景切入
假设你在做一款电商客服助手，用户上传了一张衣服照片问‘这件有没有黑色的？’，模型得同时看懂图片和文字。你觉得当前多模态大模型在这种场景下，最容易在哪些地方翻车？比如模态对齐、数据质量这些方面。
- 问法 2 · 层层追问
你觉得多模态大模型现在最大的瓶颈是什么？……那模态对齐具体难在哪里？……除了对齐，数据构建方面也有挑战吧，比如高质量的图文对不好找？……还有推理一致性，跨模态时逻辑容易断，你怎么看？
- 问法 3 · 直球架构
请从模态对齐、数据构建、推理一致性三个维度，直接说说当前多模态大模型面临的主要技术挑战。不用展开细节，挑最关键的难点讲就行。