人工评估 | 人工标注员

无论项目规模有多大，一旦你把评估任务和打分细则都确定下来，有几个关键点需要特别留意：

• 标注员要选对，最好还能给点经济激励。
  挑选标注员时，可以从两个维度来考量：

  • 符合特定的人口统计特征。
    比如母语是测试目标语言、教育背景较高、具备特定领域的专业知识、来自不同地域等。具体要求得看评估任务本身。

  • 能提供高质量标注。
    有些任务对标注员的筛选格外重要，比如最近流行的一种任务：检查回答是不是LLM生成的。个人认为，除非你确信众包标注员有强烈的自我驱动力，否则支付合理的费用通常是更稳妥的做法。

• 标注准则必须精心设计。
  这一点怎么强调都不过分——绝对值得你投入大量时间！制作数据集时，大部分时间都耗在了这个环节。

• 迭代标注不可跳过。
  标注员常常会误解指南（他们的想法可能比你想象的还要模棱两可），所以最好做好多轮迭代的准备，不断调整直到达到你的要求。

• 质量检查和手动筛选。
  你需要认真核查答案的质量（比如核对标注员之间的一致性），然后筛选出质量最高、相关性最强的那些答案。