大模型项目模拟面试
vLLM 推理服务、吞吐、延迟与成本项目模拟面试
适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。
使用方式：先换成自己的真实项目描述，再像面试一样逐题回答；练完后查看哪些地方还缺数据或具体案例。本页不包含也不保存任何个性化回答。
项目描述示例
项目描述示例 1
负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。
教学示例：这不代表任何真实个人、公司或项目。开始模拟前，请换成自己的真实项目经历。
回答前需要准备：
- 模型与硬件
- 自己负责哪部分、团队负责哪部分
- 部署项目材料
项目描述示例 2
通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。
教学示例：这不代表任何真实个人、公司或项目。开始模拟前，请换成自己的真实项目经历。
回答前需要准备：
- 负载模型
- 基线与结果
- 配置版本
- 质量或稳定性代价
面试官通常会这样连续追问
1. 你具体做了什么：简历原句是“你的真实项目描述”。模型转换、vLLM 部署、网关、调度、压测和容量规划分别由谁负责？
回答前需要准备
- 本人负责的模块、决策和交付边界
- 团队、平台与外部服务的边界
回答里如果缺少这些内容，面试官会继续追问：没有说清自己负责哪部分。
关联知识题
2. 你具体做了什么：请用一份脱敏配置、压测报告、性能火焰图或变更记录证明你的职责和结论。
回答前需要准备
- 能对应到本人动作的变更、评审或设计记录
- 本人维护的部署配置、压测报告、火焰图或容量变更记录
关联知识题
3. 系统怎样运行：请求从网关进入后，如何经过排队、tokenization、continuous batching、prefill、decode 和流式返回？
回答前需要准备
- 端到端组件、数据流和每层输入输出
- 关键接口与约束如何影响设计
关联知识题
4. 为什么这样选择：为什么选择 vLLM 而不是 TGI、TensorRT-LLM 或直接 Transformers？并发、量化、批大小和显存利用如何取舍？
回答前需要准备
- 至少两个候选方案、真实约束与放弃原因
- 质量、时延、开发和维护成本
关联知识题
5. 效果怎样证明：吞吐、TTFT、TPOT、P95、显存和单百万 token 成本如何测？输入输出长度和并发分布是什么？
回答前需要准备
- 吞吐、TTFT、TPOT、尾延迟、显存与 token 成本口径
- 固定模型、硬件、长度分布和并发条件下的旧基线
- 压测脚本、请求分布、预热、采样窗口和版本记录
回答里如果缺少这些内容，面试官会继续追问：没有说明指标怎么算；没有说明优化前的数据；没有说明评测数据怎么来。
关联知识题
6. 效果怎样证明：请先固定模型、硬件、输入输出长度、并发和预热条件，再给出吞吐、TTFT、TPOT 与 P95；测试条件不一致时不要直接比较。
回答前需要准备
- 吞吐、TTFT、TPOT、尾延迟、显存与 token 成本口径
- 固定模型、硬件、长度分布和并发条件下的旧基线
- 压测脚本、请求分布、预热、采样窗口和版本记录
关联知识题
7. 哪里出过问题：什么负载会导致 OOM、排队爆炸或长短请求互相拖累？你如何复现并保护尾延迟？
回答前需要准备
- 可复现的输入、链路证据和错误输出
- 根因验证与修复后的固定样本回归
回答里如果缺少这些内容，面试官会继续追问：没有准备失败案例。
关联知识题
8. 哪里出过问题：请回放一次 OOM、排队爆炸或长短请求互相拖累的压测，给出负载分布、显存水位、队列和尾延迟；没有记录就按容量推演回答。
回答前需要准备
- 可复现的输入、链路证据和错误输出
- 根因验证与修复后的固定样本回归
关联知识题
9. 项目怎样上线：生产中如何做副本、限流、预热、模型版本、健康检查、自动扩缩、监控、灰度和回滚？
回答前需要准备
- 真实并发、token 速率、模型副本和容量水位
- 队列、显存、TTFT、TPOT、错误率和健康检查
- 模型、量化或调度参数的灰度与预热记录
- 模型版本、量化和路由策略的回退记录
回答里如果缺少这些内容，面试官会继续追问：没有说明数据量或并发量；没有说明是否真正上线；没有说明出故障时怎么办。
关联知识题
10. 项目怎样上线：请给出一次真实压测或扩容记录，说明模型、硬件、长度分布、并发、队列水位和副本决策；没有记录就明确是容量估算。
回答前需要准备
- 真实并发、token 速率、模型副本和容量水位
- 队列、显存、TTFT、TPOT、错误率和健康检查
- 模型、量化或调度参数的灰度与预热记录
- 模型版本、量化和路由策略的回退记录
关联知识题
11. 条件变化怎么办：如果流量扩大十倍且延迟预算减半，容量、路由、分池、量化和模型层级如何重设计？
回答前需要准备
- 容量、数据量或租户增长的量化模型
- 新约束下的方案调整与代价
关联知识题
题目说明
按真实面试逻辑设计的教学模拟题
页面示例不代表任何真实个人或公司经历。模拟时请只使用自己的真实项目内容。