大模型应用开发要懂哪些概念、懂到什么程度

转大模型应用开发，不用把深度学习从头学一遍，真正要吃透的是一小批"每天做工程决策都会碰到"的概念：Token、上下文窗口、温度、Embedding、向量检索、RAG、Agent、评估指标这些。标准不是能背定义，而是能一句话讲清、还能说出它影响哪个工程取舍。这篇给你一张核心概念清单和"懂到什么程度"的可操作标准。 作者：吴师兄 适合：准备转大模型应用开发、想知道概念地基要打到多深的人 前置：知道应用岗和算法岗的区别，不需要机器学习背景 到底要懂哪些概念：一张清单表 应用开发要懂的概念不超过一打，而且每一个都能直接落到你写代码、调参数、排 badcase 的动作上。下面这张表按"一句话是什么 + 要懂到什么程度 + 站内哪里补"三列列全，懂到什么程度那一列就是你的自测标准。 概念 一句话是什么 要懂到什么程度 站内哪里补 Token 与分词 模型看到的不是字而是 token，一个中文字常拆成 1-2 个 token 能估算一段文本大概多少 token，知道它决定成本和窗口占用 /ai-coding 第 1 章 上下文窗口 模型单次能读进去的 token 上限 知道超窗会截断或报错，知道 RAG 存在就是为了绕开窗口限制 RAG 为什么需要 温度 / top p 控制输出随机性的两个采样参数 能说出什么场景调低(抽取、分类)、什么场景调高(创作) /ai-coding 第 2 章 推理成本与延迟 每次调用按 token 计费、按 token 生成耗时 能算清一个请求的成本量级，知道流式输出改善的是体感延迟 /questions?module=推理优化 幻觉 模型一本正经编造不存在的事实 知道它无法根治，只能靠检索接地和引用溯源缓解 引用与溯源 Embedding 与向量 把文本压成一串数字，语义相近则向量相近 知道它是语义检索的基础，知道选模型影响召回质量 Embedding 选型 向量库与 ANN 检索 存向量、用近似最近邻快速找相似 知道为什么用近似而非精确，知道它牺牲一点召回换速度 /questions?module=向量检索 RAG 先检索相关资料再让模型基于资料回答 能画出"切块-向量化-检索-重排-生成"整条链路 RAG 架构 Agent 与工具调用 让模型自己决定调哪个工具、按结果再决策 能说清一次工具调用的请求-执行-回填闭环 /ai-coding 第 3 章 Prompt 与结构化输出 用提示词约束任务，并要求返回 JSON 等固定格式 能写出让下游能解析的稳定输出，知道怎么处理格式跑偏 系统提示词 微调 vs 提示工程 改模型权重 vs 只改输入，两条改行为的路径 能判断一个需求该先试提示还是该上微调 模型微调题库 评估指标 Recall / MRR / 忠实度等衡量系统好坏的量 能说出各指标衡量哪一环、少了它面试会露 评估 "懂到什么程度"的可操作标准是什么 判断你懂没懂一个概念，就问两句话，能不能用一句话讲清它是什么，能不能说出它影响哪个工程决策。两句都能过，才算懂到应用开发要的程度。 拿温度举例。"温度控制输出随机性"这是第一层，只是定义。第二层是：做信息抽取、分类、SQL 生成这类要稳定复现的任务，温度调到 0 或接近 0；做文案、头脑风暴这类要多样性的任务，调高到 0.7 以上。能说出第二层，你才是真懂，因为那意味着你在真实项目里知道该往哪拧。 再拿重排举例。第一层"重排就是把检索回来的候选再打一次分排序"。第二层是"为什么要重排"：向量检索为了快用的是近似最近邻，召回排序并不精准，重排用更重的模型对 top-k 做精排，把最相关的顶上去；不加重排，答案容易被相关性一般的片段带偏。能答出第二层，面试官追问才不会把你问穿。 对每个概念都套这两句话，你会很快发现自己哪些是"背过定义"、哪些是"真能用"。 研一 / 研二和 3 年 Java 后端，补法不一样 在校生适合系统过一遍、顺便判断要不要走应用算法；工作党适合挑不熟的补，别从头啃深度学习。这两类人的起点和目标都不同，打法必须分开。 维度 研一 / 研二在校生 工作约 3 年 Java 后端 起点 时间充裕，可系统过一遍全部概念 已有工程直觉，时间紧，只补缺口 补的顺序 按上表从上到下走一遍，建立完整地图 直接跳到 RAG / Agent / 评估这三块补直觉 深度取向 可往下多探一层(Embedding 怎么训、注意力机制)，为要不要走应用算法留口子 不必深挖原理，重点是"这概念影响我哪个设计决策" 里程碑 能对着一张架构图把每个概念讲 20 分钟 能把概念挂到自己的项目和后端经验上 别做的事 别只刷概念不动手，概念会飘 别从头学深度学习数学，那是浪费时间 在校生多出来的那层深度不是白花的：它帮你判断自己更喜欢调模型(应用算法)还是搭系统(应用开发)，这个岔路口早点想清楚，见研究生阶段怎么准备。工作党的优势是工程直觉已经在，Embedding、向量库、检索缓存这些对做过后端的人几乎是"换个名字的老朋友"，难点只在 RAG 整条链路和 Agent 的决策闭环这两块新东西，把它们补成直觉即可，细节见后端经验怎么迁移。 一个很常见但没用的做法：背得出定义，串不成决策 最典型的假努力，是把每个概念的定义抄成一份漂亮的知识卡片，能一字不差背出"什么是重排""什么是 MRR""什么是 top p"，然后以为自己懂了。 面试里这套一追问就崩。面试官不会问"什么是重排"，他会问"你这个 RAG 为什么要加重排、不加会怎样""你召回的 top-k 取多少、依据是什么""你用什么指标证明重排真的有用"。这些问题背定义答不了，因为它们考的是概念之间的因果和取舍，不是孤立的名词。 正确的补法是反过来：不是先记定义再找场景，而是先动手搭一个最小 RAG，亲眼看到不加重排时答案被烂片段带偏，再回头理解重排的定义。从决策倒推概念，概念才粘得住。这也是为什么这篇一直强调"能说出它影响哪个决策"，那是懂和背的分水岭。 行动清单：概念地基怎么落地 按这个顺序走，概念不会停在纸面上: 概念地基：先过/ai-coding 第 1 章 LLM/Token/Agent 到底是什么，把上表最上面几个基础概念一次性建立地图。 马上动手：跟着亲手调一次 LLM API 真调一次，温度、流式、token 计数这些概念动手一遍就懂了，比看十遍定义强。 搭最小系统：跟 RAG 智能问答系统把检索、重排、评估整条链路跑通，让 RAG / 向量 / 评估这些概念长在项目里。 自测概念题：去 RAG 基础题库和 Prompt 工程题库刷题，凡是答不出"为什么"只答得出"是什么"的，就是你要回补的洞。 概念是地基，但地基不是终点。补完这一批，再看数学和理论到底要补多少和方向级技术栈全景，把地图铺全。 常见问题 大模型应用开发到底要不要懂深度学习原理? 不用系统学。应用开发日常用到的是上面那张清单里的工程概念，反向传播、损失函数这些原理知道个大概即可，不必推公式。真要往应用算法走再补，判断标准见应用开发和应用算法怎么选。 这些概念大概要多久能补到能面试? 在校生系统过一遍加动手，约 3-4 周；有后端经验的人挑着补 RAG / Agent / 评估，约 2 周。这是经验值，关键不在天数，而在有没有真动手搭过一个系统，让概念从定义变成直觉。 概念背下来了，面试还是答不深怎么办? 多半是你在背定义而没串因果。把每个概念改成问自己"它影响我哪个决策""不用它会怎样"，再对着自己的项目复述一遍。答不上来的地方，就是回去补项目、补评估的信号。 微调和提示工程，入门阶段该先学哪个? 先吃透提示工程，它是每天都用的基本功，成本低、迭代快。微调只在提示怎么调都达不到效果、且你有数据时才考虑。入门先把提示和 RAG 做扎实，微调作为进阶概念了解即可。 相关阅读 数学和理论到底要补多少才够转大模型 大模型应用开发的技术栈全景与学习顺序 LLM、Token、Agent 到底是什么 RAG 基础概念题库，用做题检验概念