Prompt 工程方法怎么选?
手动设计 vs 自动化优化(Prompt Tuning/AutoPrompt),效果效率对比
原题：请介绍Prompt Engineering的主要方法和技术，包括手动设计和自动化优化策略（如Prompt Tuning、AutoPrompt、Gradient-Based Search等），并比较它们在效果、效率和适用场景上的差异。
Prompt工程 · 字节真题
30 秒回答
- 区分手动Prompt设计与自动化优化两大范式
- 讲清连续提示（Prompt Tuning）vs 离散提示（AutoPrompt等）的本质区别
- 能对比效果、效率、适用场景三维度
- 提及实际落地中的选择考量（如API黑盒场景的限制）
回答与解析
答案要点
- 区分手动Prompt设计与自动化优化两大范式
- 讲清连续提示（Prompt Tuning）vs 离散提示（AutoPrompt等）的本质区别
- 能对比效果、效率、适用场景三维度
- 提及实际落地中的选择考量（如API黑盒场景的限制）
一、手动设计方法
核心思路：基于经验规则构造离散文本模板
- Few-shot：在Prompt中嵌入示例，引导模型模仿输出格式
- Chain-of-Thought (CoT)：显式写出推理步骤，激发多步推理能力
- 角色设定与指令分解：通过System Message限定角色，复杂任务拆分子步骤
- Self-Consistency：多路径采样投票，提升答案稳定性
特点：零成本、即时生效，但依赖人工经验，迁移性差
二、自动化优化策略
| 方法 | 类型 | 核心机制 | 代表工作 |
|---|---|---|---|
| Prompt Tuning | 连续优化 | 冻结模型，仅训练可学习的软提示嵌入（Soft Prompt） | Lester et al., 2021 |
| Prefix Tuning | 连续优化 | 在KV层添加可训练前缀，比Prompt Tuning更深层 | Li & Liang, 2021 |
| P-Tuning v2 | 连续优化 | 多层插入软提示，解决小模型上的稳定性问题 | Liu et al., 2022 |
| AutoPrompt | 离散优化 | 梯度触发词搜索，迭代替换模板中的Token | Shin et al., 2020 |
| APE (Automatic Prompt Engineer) | 离散优化 | LLM生成候选→执行→打分→迭代优化 | Zhou et al., 2023 |
| GrIPS/RLPrompt | 离散优化 | 基于编辑操作或RL搜索最优离散模板 | Prasad et al., 2023 |
三、关键对比
| 维度 | 连续方法（Prompt Tuning等） | 离散方法（AutoPrompt等） |
|---|---|---|
| 效果 | 通常更优，软提示容量大、优化直接 | 受限于词表，易陷入局部最优 |
| 效率 | 训练快（仅优化少量参数），但推理需加载额外嵌入 | 搜索慢（需大量前向/采样），但推理零开销 |
| 适用场景 | 白盒模型、需高频调用同一任务 | 黑盒API、Prompt需人类可读、跨模型迁移 |
| 可解释性 | 差（软提示无语义） | 好（离散文本可直接阅读） |
四、实践选择
- 有模型权重：优先Prompt Tuning/P-Tuning v2，效果稳定
- 仅API调用：用APE或AutoPrompt，或结合LLM作为优化器的迭代框架
- 极致性能：手动CoT + 自动化搜索混合，如OPRO（Optimization by PROmpting）
口语版讲法(约4分钟)
- 一句话定位：Prompt Engineering的本质是沟通策略
- 手动设计的适用边界与局限
- 自动化优化的两类方法对比
- 落地选择与风险提示
- 可延伸点：连续提示的迁移性问题
这道题问Prompt Engineering的方法和技术，我觉得本质其实是在问：你怎么跟大模型有效沟通？是手写指令，还是让模型自己学会怎么理解你？这两个思路差别很大，而且落地时往往要混着用。
先说手动设计。最典型的像 Few-shot，给几个例子让模型照着来；还有 Chain-of-Thought，就是让模型把推理步骤写出来，解决复杂推理问题；再有就是设定角色、拆指令。这些方法好处是零成本，拿来就能用，效果立竿见影。但问题也明显：完全依赖人的经验，换一个任务或者换一个模型，你可能要重新调模板，迁移性很差。比如在客服退款场景里，你写一套Prompt让模型判断退款原因，换到满减政策咨询，模板基本得重写。所以手动设计更适合快速验证或者任务固定、量不大的情况。
再说自动化优化。这里分两类：连续优化和离散优化。连续优化代表是 Prompt Tuning，不碰模型本身，只在输入层加一串可学习的向量，模型参数冻结，只优化这串向量。效果通常很好，因为向量空间比词表大得多，优化直接。但前提是你得有模型权重，能反向传播。离散优化像 AutoPrompt 和 APE，是在词表里搜最优的文本模板，搜出来是人类可读的句子，可以直接用在任何模型或者API上。但离散搜索效率低，因为要在几千个词里穷举或梯度近似，容易掉进局部最优。
对比一下：连续方法效果更好、训练快，但推理时得加载额外嵌入，而且可解释性差，你根本不知道那串向量在干什么；离散方法搜索慢，但推理零开销，模板可读可迁移。所以场景很明确：你有模型权重、任务固定、高频调用，用Prompt Tuning；你只有API、或者需要跨模型迁移、或者要让业务方审核Prompt，那就用离散搜索。
实际落地我很少只用一种。比如做企业SOP合规文档的问答系统，我会先用手动CoT搭一个基线，再跑一次APE搜索，看能不能找到更好的离散模板，然后固定下来用。如果后面要大规模部署，我可能会把CoT模板转成软提示，用Prompt Tuning微调几轮，效果还能再涨几个点。这里有个坑：连续提示虽然效果好，但换模型版本或者换底层LLM，那串向量可能就废了，得重新训。所以上线前我会特别关注模型的版本锁定，如果未来有升级计划，离散模板更稳妥。
还有一个点值得注意：连续提示的迁移性问题其实比想象中更严重。我试过把同一个软提示从Llama 2 7B搬到13B，效果直接掉一半，因为模型内部的表征分布变了。这背后涉及到底层表征对齐的问题，现在有些工作在做跨模型迁移的连续提示，但还不成熟。
所以我的整体判断是：没有银弹。手动设计是起点，自动化优化是进阶，两者互补。我更倾向先用手动搭框架、再用自动化搜索做精调，最后根据部署约束决定用连续还是离散。
关键一句:连续提示在不同模型间的迁移效果会大幅下降，因为底层表征分布不一致
面试官还可能这样问
- 问法 1 · 场景切入
假设我们做一个电商客服系统，用户问'我的订单到哪了'，你写了个Prompt让模型回答。但不同地区物流模板不一样，你总不能每次都改Prompt吧？你有哪些办法让Prompt自动适应不同场景？
- 问法 2 · 层层追问
你平时怎么设计Prompt来提升模型表现？……如果任务从10个变成100个，手动调Prompt是不是太累了？……那有没有自动化方法，比如让模型自己找最优Prompt？你了解哪些技术，各自适合什么情况？
- 问法 3 · 直球架构
请对比Prompt Engineering中的手动设计和自动化优化，包括连续方法如Prompt Tuning和离散方法如AutoPrompt，从效果、效率、适用场景三个维度分析，并说明实践中如何选择。