提示词最佳实践（三）：prompt效果评测与产品构建

整理了智谱AI公开分享的prompt最佳实践后，有几个关键判断值得沉淀。这一系列分为三部分：prompt框架、迭代优化，以及评测与产品构建。本篇聚焦第三块——prompt效果评测。

Prompt效果评测

模型输出的效果怎么评价？核心思路有三步：先基于业务需求定标准；再参考不同场景的通用评测维度；如果一时拿不准，可以通过小样本测试，从评测过程中提炼迭代。

评测集数量建议不少于50条，100条以上更理想。评测集分布要与真实问题分布一致，可以通过线上抽样和按维度构造两种方式获取。

• 线上抽样：小版本调优后灰度上线，收集线上的badcase，再次迭代、上线。
• 按维度构造：针对不同维度人工设计测试用例。

测试迭代的策略是：前期用小部分评测集快速迭代小版本，待效果稳定后再用完整评测集做大版本测试，这样能显著降低评测成本。

构建产品方案

从模型层到应用层，分层处理：预训练提供通用能力，微调聚焦领域能力，prompt工程解决具体任务能力。应用层则需要产品化和工程化，把多种任务调度整合起来。

To C面向终端用户，内容优先，打造全能助理；To B面向专业场景，需要领域AI专家能力，工程要求高，输出务必严谨。

• To C场景

• To B场景

大模型应用构建流程概览：

第一种方式是通过flow拆解流程，以对话质检为例：

• prompt1：信息预处理

• prompt2：信息抽取

第二种方式是通过agent方案构建。以智谱清言的智能体为例，设计agent的人设、技能、知识库等：

prompt设计示意：

说到底，prompt是低成本调用AI能力的最佳方法。