零样本（Zero-Shot）#

直接给模型下达任务指令，不提供任何示例。

“将以下英文翻译成中文：Hello, world.”

少样本（Few-Shot）#

在提示中提供几个输入-输出示例，让模型学习任务模式。

“将以下英文翻译成中文：

• ‘Good morning’ → ‘早上好’
• ‘Thank you’ → ‘谢谢’
• ‘Hello’ → ?”

示例选择技巧：

• 选择与目标输入语义相似的示例
• 选择与目标输入标签分布一致的示例
• 多样化——涵盖不同的模式

示例排列顺序：

• 模型可能受示例顺序影响，最后出现的示例影响最大（近期效应）
• 尝试不同顺序

基础 CoT#

在示例中加入推理过程：

Q: 商店有 20 个苹果，卖掉了 5 个，然后又进了 8 个，现在有多少个？ A: 开始时 20 个，卖掉 5 个剩 15 个，又进 8 个，所以现在有 23 个。

零样本 CoT#

只需在提示末尾加上 “让我们一步一步思考”（Let’s think step by step），就可能激发模型的推理行为。

CoT 的变体#

基于梯度的方法#

• AutoPrompt：通过梯度搜索，自动找到触发特定行为的”触发词”
• Prefix Tuning：在输入前添加一组可学习的”前缀向量”
• P-Tuning：在嵌入层插入可学习的提示向量

基于搜索的方法#

• APE（自动提示工程师）：使用 LLM 自己生成和优化提示词
  1. LLM 生成一批候选提示
  2. 在验证集上评估效果
  3. 选择表现最佳的提示作为新起点，迭代优化

检索增强（RAG）#

在提示中注入从外部知识库检索到的相关内容，让模型能够：

• 引用最新信息
• 基于验证过的事实生成
• 减少幻觉

编程语言增强（PoT / PAL）#

Program-of-Thought：让模型用 Python 代码表达推理步骤，然后执行代码获得结果。比自然语言 CoT 更可靠，因为代码执行是确定性的。

外部 API 调用#

模型学习调用外部工具 API：

• 计算器：精确计算
• 搜索引擎：实时信息查询
• 知识库：领域专有数据
• 代码解释器：执行代码并分析结果