防骗| 连这些引用量最高的核心Prompt都不知道，还敢打着专家大师旗号蒙人

要跟上Prompt技术的最新发展，光靠网上的新闻报道和解读文章远远不够。那些动辄给自己戴上"专家"、"大师"头衔到处蒙人的人，十个有九个连下面这张图里的东西都说不清楚。

这篇文章约9100字，阅读时间约23分钟。

上周发布的那篇Prompt系统调查报告，因为篇幅所限，有几张极其重要的图片没有展开细说。结果发现，一堆抄袭的文章扑面而来，关键是都抄不到点子上，甚至连图片里的英文都翻译不对。为了让各位能擦亮眼睛，特写此文以正视听。

那篇报告中最有价值的部分，毫无疑问就是上面这三张图。你看，被引用1000次以上的Few-Shot、Zero-Shot、Chain-of-Thought这些技术，可以说是Prompting领域的几大支柱。任何一个真正在做Prompt研究的人，不可能不了解它们的来龙去脉。反过来说，如果谁对这些技术一窍不通，却还在到处宣扬什么Prompt秘籍、Prompt提升，那真是让人笑掉大牙。可以预见的是，这篇文章一出，某些人又会抛出一堆核心论文，或者再搞一个什么核心研读提升元认知、精品课程之类的套路。

再看看这张模型使用统计图：GPT、BERT高居榜首，用得最多。这不是废话吗？这些顶级语言模型，性能好、能力强，自然是各种Prompt方法争相尝试的"香饽饽"。连这个都不懂，还指望玩转Prompt？

最后这张图就更有门道了：CoQA、MMLU、HellaSwag……这些可都是Prompt领域的标准测试数据集。

这三张图中，最重要的是每种Prompt技术的具体引用数量。高引用量意味着什么？说明这项技术适用面广，跨任务、跨领域的泛化能力强，具备工业环境部署的实用性。CoT Prompting、Selection-Inference这些，看着就犀利。Self-Consistency、Least-to-Most Prompting等，都是在不同角度上增强了Prompt的表现力和鲁棒性，让模型能更好地理解任务需求，给出高质量响应。更关键的是，引用多了，围绕这项技术的各种改进、优化、融合的尝试也就多了。学界有个著名的"马太效应"：好的技术天然吸引更多目光，大家在它基础上做文章，反过来又进一步提升了它的引用量。这是个良性循环。引用量Top榜上的这些Prompt方法，不仅代表了当下最实用的技术，也奠定了未来进一步创新的基础。

研究一篇高引用论文，至少应该这样整理。

这些论文共37篇，用程序跑出来的中英文摘要近70000字。当然，你也可以用下文这些蓝色的关键字检索、检索、再检索。注意看：《The Prompt Report: A Systematic Survey of Prompting Techniques》这份报告的作者对Few-Shot这篇原文的引用量是1000多一些（限定研究范围1565篇论文），而实际引用（Cited）的数目是26975。这意味着，你每次写Prompt时用Few-Shot，大概率上是正确的，原因就在这里。

接下来，对这37项技术做一个简要介绍。"纸上得来终觉浅，绝知此事要躬行"，希望本文能抛砖引玉，让你获得真正的"良知"。

37个提示技术简要介绍

利用少量标注样本进行学习，减少了对大规模标注数据的依赖。通过对样本进行精心设计和选择，让模型能快速理解任务要求，在小样本上也能有不错的泛化能力。

更进一步，在没有任何标注数据的情况下进行推理。通常借助大量无标注数据进行预训练，让模型学会通用的语言理解和推理能力，然后直接应用到下游任务中。这为开放域问答、知识图谱推理等任务带来了新的可能。

通过在提示中嵌入一些高质量的示例，让模型更好地理解任务需求。这些示例不仅告诉模型"what to do"，还告诉它"how to do"，从而引导模型生成更准确、更合理的响应。

通过对同一输入生成多个响应，然后比较它们的一致性，来提高输出的可靠性。这种方法能有效降低模型的hallucination，生成更稳定、更可信的结果。

引导模型进行逐步推理，将复杂问题分解为一系列简单、易解的小步骤。通过这种方式，即使是需要多轮推理的任务，模型也能有条不紊地给出答案，且推理过程清晰、易于解释。

先给出一个简单的提示，引导模型给出初步的响应；然后逐步增加提示的复杂度，引导模型不断细化、完善答案。这种渐进式的交互方式，能帮助模型更好地理解任务，给出更精准的结果。

将推理过程表示为一个可执行的程序。通过将自然语言问题转化为程序，引导模型进行符号化推理，增强了推理的可解释性和可控性。

从大规模语料库中检索与当前任务最相关的提示，来帮助模型更好地理解任务。这种方法能自动找出高质量的示例，省去了人工设计提示的繁琐过程。

自动生成链式推理的提示，引导模型进行逐步推理。相比人工设计的CoT提示，这种方法能根据具体问题动态生成推理步骤，适用性更广。

模型自己提出一系列的澄清或引导性问题，然后逐步回答，最终得出结果。这种自问自答的过程，可以帮助模型更深入地理解问题，找出关键信息。

将复杂推理过程组织成一棵树状结构。通过对不同思路的探索和比较，找出最优的推理路径，得到最终答案。

根据问题的复杂度，动态调整提示的详细程度。对于简单问题，给出简洁的提示；对于难题，则给出更详尽的指导。这种自适应的提示策略，能提高模型的效率和准确率。

将复杂任务分解为多个子任务，对每个子任务分别进行提示。这种分而治之的策略，可以降低每个步骤的难度，最终实现对原任务的解决。

以苏格拉底问答的方式引导模型进行思考。通过一系列启发性的问题，激发模型的潜在知识，帮助它得出正确答案。这种方法在哲学、辩论等任务中特别有效。

用图结构来表示推理过程。图中的节点表示不同的观点或论据，边表示它们之间的逻辑关系。通过图上的推理，可以得出最终的结论。这种方法能增强模型推理的可解释性。

先引导模型生成解决问题的计划，再根据计划一步步执行。这种"思考->执行"的两阶段过程，可以提高问题求解的针对性和效率。

在生成链式推理时，引入额外的监督信号，确保每个推理步骤严格遵循逻辑规则。这可以帮助模型生成更合理、更可靠的推理过程。

对模型生成的推理过程进行演绎验证，确保其逻辑的合理性和一致性。通过形式化的逻辑检查，可以大大提高模型推理的准确性。

在推理过程中，随时总结已有的中间结果，并将其反馈给后续的推理步骤。这种累积式的推理方式，可以帮助模型随时校准思路，不偏离正确方向。

将复杂问题自动分解为多个简单的子问题，然后对每个子问题进行回答，最后整合结果。这个过程可以通过语法分析、语义角色标注等技术自动完成，大大提高了处理复杂问题的能力。

模型根据当前任务，自动生成相关的上下文学习示例。相比人工设计的示例，这种自生成的示例往往更多样、更贴近任务本身，有助于提高上下文学习的效果。

在生成每一步推理的同时，实时进行验证，确保推理过程的正确性。一旦发现错误或不一致，就及时修正。这种实时监控和纠错机制，可以大大提高推理的准确率。

除了直接给出指导性的提示外，还提供一些支持性的例子，帮助模型更好地理解任务。这些例子可以是正例，展示"应该怎么做"；也可以是负例，展示"不应该怎么做"。通过这种正反对比，模型可以学到更细致入微的任务要求。

利用最近邻算法，从历史数据中找出与当前任务最相似的k个样本，并将它们作为提示。这种基于相似度的提示方式，可以提供更个性化、更有针对性的指导。

构建一个统一的示例检索器，可以从不同来源（如手工设计、自动生成、检索等）中获取示例，并根据任务需求动态选择最合适的示例组合。这种混合式的示例选择策略，兼具了灵活性和多样性。

与Tree of Thoughts类似，也是用树状结构表示复杂的思维过程。不同之处在于，Tree-of-Thought更强调对不同思路的探索和比较，找出最优解；而Tree of Thoughts更强调对推理过程的组织和管理。

将链式推理的生成过程进一步自动化。不仅可以自动生成每一步的推理内容，还可以自动决定推理的步数和顺序。这种全自动的推理生成，大大提高了CoT Prompting的适用性和效率。

在链式推理的基础上，加入验证环节。对每一步推理的结果，都进行检验和确认，确保推理链条的可靠性。这种严格的逐步验证，可以有效防止误导或错误累积。

将多个示例进行组合，形成一个更强大的"示例集成"。通过对不同示例的取长补短、优势互补，可以为模型提供更全面、更鲁棒的指导。

在推理过程中引入外部记忆模块，用于存储和管理重要的中间结果、先验知识等。这种增强的记忆能力，可以帮助模型处理更长、更复杂的推理任务。

模型先对用户的问题进行复述，以确保准确理解问题意图。然后再根据复述后的问题，给出回答。这个过程可以消除问题表述的歧义，提高回答的针对性。

在提示过程中引入主动交互。模型可以根据当前的理解状态，主动向用户提出问题或要求澄清，以获取更多信息。这种双向交互，可以帮助模型更准确地把握用户需求。

将大语言模型用作优化器，搜索最优的提示或任务解决方案。通过对语言空间的探索和优化，可以自动发现高质量的提示，或找到创新的问题求解策略。

生成与人类专家水平相当的提示。通过对专家提示的学习和模仿，模型可以生成更专业、更有洞察力的指导，为用户提供近乎人类专家的帮助。

根据问题的复杂度，动态调整提示的详细程度。对于简单问题，给出简洁的提示；对于难题，则给出更详尽的指导。这种自适应的提示策略，能提高模型的效率和准确率。

对上下文学习进行全面调查和总结。系统梳理现有的ICL技术和应用，分析其优势和局限，并提出未来改进的方向。这项工作为后续的ICL研究提供了重要的参考和指引。

将提示过程分为两个阶段：选择和推理。首先从候选集中选出最相关的知识和示例，然后基于选中的信息进行推理，得出最终答案。这种分步骤的提示，可以提高知识利用的精准度和推理的有效性。

十一个重要的Prompt评测数据集

包含8.5K多道小学数学应用题，题目来自真实的教材、考试和网络。每道题都需要常识推理和多步解题，全面考察模型的数学推理能力。被广泛用于评测Prompting模型在算术推理方面的性能，如Chain-of-Thought Prompting等。

一个庞大的多任务基准测试，涵盖57个学科，包括人文、社会科学、STEM等。共有14K个多选题，每个学科有若干个子类别。题目取材于高中和大学课程。全面评估模型在不同领域知识的掌握和运用能力，被视为语言模型通才能力的检验标准。

包含约100K道代数问题，每道题都要求给出详细的解题步骤。题目根据难度分为Easy、Medium、Hard三个等级，涵盖了代数的方方面面。不仅考察模型的数学运算能力，更注重解题过程的逻辑性和可解释性。

一个侧重事实准确性的问答数据集，包含多个不同领域的问题。除了给出答案外，还需判断答案是否真实可信，以及给出可信度评分。旨在评估模型对事实的判断力，以及面对误导、违规内容时的鲁棒性。

一个考察常识推理的数据集。给定一个场景描述，要求从多个候选中选出最合理的后续。候选答案往往差异很微妙，需要模型深入理解语境，捕捉细微线索。评测模型在日常场景下的推理判断能力，体现其常识知识的掌握。

一个基于语义组合的问答数据集。每个问题都需要组合多个事实才能回答。事实来自一个大规模的语料库，涉及多个领域。评测模型的多轮推理和知识整合能力。被认为是一个很有挑战的数据集，对知识型问答系统的构建具有重要价值。

一个侧重常识推理的问答数据集。给定一个问题，要求从多个候选中选出最合理的答案。问题涉及日常生活的方方面面，评测模型对世界知识的理解和运用。被广泛用于评测模型在常识推理任务上的表现，如Promptless One-Shot learning等。

一个考察指代消歧的数据集。给定一个句子和一个代词，要求判断该代词指代的是哪个名词。需要模型深入理解句子语义，利用常识知识进行推理判断。评测模型在复杂语境下进行指代消歧的能力，对自然语言理解有重要意义。

一个全面评估大语言模型能力的基准测试，包含150+个不同类型的任务。任务涵盖阅读理解、常识推理、数学计算、创意生成等多个方面，难度不一。被视为评判大模型综合能力的"体检表"，在业界和学界都有广泛影响力。

BIG-bench的一个子集，精选了其中最具挑战性的23个任务。这些任务对大模型的推理、记忆、算法等能力提出了极高要求，堪称"模型杀手"。常被用来评判不同大模型的真正实力，在Prompt优化研究中受到格外关注。

一个测试模型语言理解灵活性的数据集，囊括了多个不同领域和形式的任务。任务类型包括分类、抽取、生成等，评判模型在不同场景下的适应能力。填补了现有基准测试中"大杂烩式"综合评估的空白，在Prompt研究中有独特价值。

这些数据集从不同侧面对Prompt方法进行了全方位考察。它们为Prompt研究树立了标杆：既有对通用能力的评估，如MMLU、BIG-bench；也有对专项能力的检验，如GSM8K之于数学推理、HellaSwag之于常识判断；还有对鲁棒性的挑战，如TruthfulQA、BBH等。对这些数据集的深入理解，也能帮助我们认清Prompt方法的优势和局限。比如，针对数学推理薄弱，可重点参考GSM8K、AQUA-RAT的结果；针对事实性判断不足，可着眼优化TruthfulQA的表现；而要突破极限、挑战自我，BBH则是不二之选。

在Prompt研究中经常使用的Model

OpenAI开发的第三代语言预训练模型，1750亿参数，掀起了大语言模型的热潮。

GPT-3的升级版，参数量更大，性能更强，但具体细节尚未完全公开。

在GPT-3的基础上进行指令微调，使其更好地适应指令型任务。

基于GPT-3的代码生成模型，经过在大量代码上的微调，擅长编程任务。

BigScience开源的1760亿参数语言模型，多语种，在推理和生成任务上表现不俗。

BLOOM的升级版，在零样本学习等方面进行了优化。

Meta开源的1750亿参数模型，与GPT-3性能相当，且完全开放。

Meta开源的650亿参数模型，在开源大模型中性价比极高。

在LLaMA的基础上专门用于代码生成任务的模型。

1. Lambda：Anthropic公司的大语言模型，以安全性和对齐性著称。

Google发布的5400亿参数模型，在推理和问答任务上表现出色。

一种通过视觉语义对齐训练的多模态模型，在图像理解任务上有独特优势。

Salesforce的开源代码生成模型，规模达到160亿参数。

一种用于信息抽取的语言模型，通过合成数据进行训练。

Google推出的预训练语言模型，以双向Transformer为基础，开创了NLP的新时代。

BERT的改进版，通过优化训练目标和数据处理，在多个任务上取得更好性能。

在BERT的基础上用生物医学领域语料进行预训练，用于生物信息学任务。

类似BioBERT，但预训练语料来自金融领域，用于金融文本分析。

一种基于BERT的多任务学习框架，在自然语言推理等任务上表现优异。

结合BERT和GPT优点的Seq2Seq模型，同时具备编码和生成能力。

一种多任务指令微调方法，可有效提升语言模型在不同任务上的零样本学习能力。

OpenAI开发的跨模态模型，通过对齐图像和文本表征，实现零样本图像分类等任务。

Salesforce的多模态模型，在视觉问答、图像描述等任务上表现优秀。

一种协同提示的方法，通过图像-文本对比学习，提升视觉语言模型的泛化能力。

DeepMind的视觉语言模型，通过少样本学习，实现图像描述、视觉问答等。

一种通过语言监督增强视觉表征的方法，可用于物体检测等任务。

全称Vision-Language Pre-training，代表一类通过跨模态预训练来实现视觉语言理解的模型。

一种跨模态记忆网络，通过外部存储来增强视觉语言模型的长期记忆能力。

将Transformer架构应用到计算机视觉，在图像分类等任务上取得突破性进展。

YOLO系列目标检测模型的最新版本，速度快精度高，适合实时场景。

一种结合CLIP和语义分割的方法，实现开放词汇的图像分割。

Google提出的一种无监督3D感知方法，通过2D图像合成实现3D重建。

Meta开发的分割任意物体的模型，具有卓越的零样本分割能力。

以上就是这些模型的大致情况。这份Prompt研究所使用的模型主要分为三大类：大语言模型、多模态模型和视觉模型。

其中，大语言模型是目前的研究重点，从GPT-3到各种开源模型，无不在竞相追逐更大规模、更强能力；多模态模型则是Prompt未来的一个重要方向，通过对齐不同模态的语义表征，实现更自然、更灵活的人机交互；而视觉模型虽然与Prompt结合相对较少，但也在CLIP、Grounding DINO等工作中显示出了巨大潜力。

这些模型大多基于Transformer架构，或对其进行了改进创新。Transformer强大的并行计算和长程依赖捕获能力，使其成为驱动大模型发展的核心引擎。这也从另一个侧面反映了Prompt研究所依赖的技术根基。

当然，模型只是故事的一半，数据和算法同样不可或缺。类似BioBERT、FinBERT这样的针对特定领域的预训练，正是数据和模型结合的典范；而FLAN、CoCoOp等Prompt优化方法的提出，则为通用大模型的适配应用开辟了新路径。

作为Prompt的研究者和实践者，心怀敬畏和谦逊，认真学习这些先进技术，深刻领会其中的精髓，才是正途。识货不能光看表面功夫，底下的门道才是真功夫。如果对以上这些热门Prompt技术有所了解，自然就明白它们频频被引用的道理。某些自称专家的，怕是连个门都不知道在哪里，就跑出来现眼。希望这篇文章能帮大家擦亮眼睛。

对于Prompt开发者来说，多读论文、多跟进顶会、扎实功底才是关键。积累真本事，才配谈创新，才能不负众望地推动Prompt技术持续进步。