Prompt 怎么系统设计与优化?
结合策略、评估方法与实际场景提升输出质量
原题：在大语言模型应用中，如何系统性地设计与优化提示词（Prompt）以提升输出质量、准确性和稳定性？请结合具体策略、评估方法及实际应用场景，阐述你在提示工程中的实践方法与思考。
Prompt工程 · 脉脉真题
回答与解析
一、结构化Prompt设计框架
我采用四层结构作为基础模板：
- 角色层：定义模型身份（如"资深数据分析师"），激活领域知识
- 任务层：明确输入、处理逻辑、输出目标，避免歧义
- 约束层：硬性规则（长度限制、禁用词）、软性偏好（风格、详略程度）
- 格式层：强制输出结构（JSON/Markdown/固定字段），便于下游解析
关键技巧：关键指令后置（近因效应）、敏感约束重复强调、使用分隔符区分上下文。
二、进阶策略：从静态到动态
| 场景 | 策略 | 示例 |
|---|---|---|
| 复杂推理 | CoT/ToT | "请逐步思考：①分析条件 ②列出公式 ③计算验证" |
| 低资源任务 | 少样本学习 | 3-5个输入-输出对，覆盖边界case |
| 多轮交互 | 动态上下文压缩 | 保留摘要+关键实体，丢弃过时细节 |
| RAG场景 | 检索结果重排序 | 按相关性打分注入，标注来源可信度 |
三、评估与迭代体系
三层验证：
- 规则层：正则/JSON Schema校验格式合规性
- 模型层：用更强模型（如GPT-4）作为裁判，设计评分rubric
- 业务层：埋点采集用户满意度、任务完成率、人工复核准确率
迭代机制：建立Prompt版本库，小流量A/B测试，关键变更需回归测试集（含对抗样本）。
四、RAG/Agent场景的特殊考量
- RAG：Prompt中显式区分"检索知识"与"模型先验"，设置拒答阈值（"若检索结果置信度<0.7，回复'信息不足'"）
- Agent：工具描述标准化（name/description/parameters/returns），ReAct循环中嵌入自我纠错指令
学习建议
建议从基础提示技巧入手，学习Few-shot、角色设定等方法，结合真实场景反复实验，积累优化经验。
口语版讲法(约4分钟)
- 本质是控制沟通
- 四层结构模板
- 动态策略与RAG结合
- 评估与落地风险
- 可延伸点：系统Prompt与用户Prompt的边界
这道题问的是怎么让大模型稳定输出高质量结果，其实本质是控制沟通。模型不是你肚子里的蛔虫，你给的提示词就是唯一通道，所以系统性设计提示词的核心就是把这个通道管好，减少歧义和随机波动。
我常用的基础模板是四层结构。先说角色层，给模型一个身份，比如资深数据分析师，这能激活它领域相关的知识，让输出更专业。然后是任务层，把输入是什么、要做什么处理、输出什么目标写清楚，避免模糊指令。再一个约束层，硬性规则比如长度限制、不能用某些词，软性偏好比如风格、详略程度，都要写进去。最后格式层，强制输出JSON或Markdown，方便下游解析。这四层下来，基础质量就稳了。
但实际落地不能只靠静态模板，得动态调整。举个例子，做客服退款场景，用户问为什么退款没到账，模型需要理解政策、查订单状态、给出解释。这时候我会用Chain-of-Thought让模型逐步推理，先分析用户意图，再匹配政策规则，最后生成回复，这样逻辑更清晰。如果遇到低资源任务，比如新业务刚上线，历史数据少，我就用Few-shot给3到5个输入输出对，覆盖边界情况。
更常见的场景是RAG，比如企业做合规文档问答。这时候有个关键边界：模型容易混淆自己的知识库和检索来的文档。所以我会在提示词里显式区分，说清楚检索到的内容优先级更高，同时设置拒答阈值，比如检索置信度低于0.7就回复信息不足。还有一个坑是，如果检索结果里一堆无关内容，模型会被带偏。所以我上线前会特别关注召回质量，用Hybrid Search把关键词和向量结合起来，再做个Rerank，把最相关的排前面。
评估体系我分三层。第一层规则层，用正则或JSON Schema检查格式对不对，比如字段有没有缺失。第二层模型层，用更强的模型比如GPT-4当裁判，按评分规则打分。第三层业务层，埋点看用户满意度、任务完成率，还要抽检人工复核准确率。迭代时我会建一个提示词版本库，小流量A/B测试，关键变更必须跑回归测试，包括对抗样本，比如故意给模糊提问或者恶意输入。
这里有个落地前提：评估标准得先定义清楚，不然迭代方向就偏了。常见失败场景是业务侧和模型侧对质量理解不一致，比如业务觉得要详细，模型觉得要简洁。所以上线前我会和业务对齐评分细则，比如准确率、完整性、合规性各占多少权重。
还有一个点我最近在思考，就是系统Prompt和用户Prompt的边界。比如在客服场景，系统Prompt定义了角色和全局规则，用户Prompt是具体问题，但模型有时会混淆，把用户Prompt里的错误信息当成真理。所以我会在系统Prompt里加一句：如果用户信息与系统规则冲突，以系统规则为准。这个边界处理不好，很容易出幻觉或安全漏洞。
所以整体上，我更倾向于把提示词工程看作一个持续优化的闭环，不是写一次就完事。每个场景都要根据业务反馈调参数，而且不同场景策略不一样，比如RAG重检索质量，Agent重工具调用和错误恢复。没有银弹，但把结构、动态、评估这些环节管好，质量就能稳定提升。
关键一句:系统Prompt与用户Prompt的边界处理不当会导致模型混淆规则
面试官还可能这样问
- 问法 1 · 场景切入
假设你做一个智能客服，用户问‘订单状态’，模型直接报错；你改了下prompt加了‘请用中文回答’，结果又输出太啰嗦。你一般怎么系统性地设计prompt，让输出稳定又准确？
- 问法 2 · 层层追问
你平时写prompt怎么保证效果稳定？……如果遇到复杂推理任务，比如计算折扣价，怎么让模型一步步算对？……那你怎么评估prompt改得好不好？有没有具体指标？
- 问法 3 · 直球架构
设计一个系统化的prompt优化流程，包括结构设计、动态调整策略和评估方法。你会考虑哪些关键模块？怎么保证输出质量和稳定性？