使用 ChatGPT 面试作弊

你知道那些用 ChatGPT 在面试里作弊的新闻吧？最近 interview.io 做了一项半科学性质的研究，结果相当扎心：如果你还在用 LeetCode 风格的题目筛选候选人，那你的面试流程恐怕早就千疮百孔了。

研究数据显示，那些被要求使用 ChatGPT 解决常见 LeetCode 题的候选人组，通过率居然高达 73%——而且面试官全程毫不知情。更让人后背发凉的是，每场面试结束后，面试官都要填写对候选人评估信心的调查问卷，结果 72% 的面试官表示“对录用决策有信心”。

等等，这数据是不是太离谱了？当四分之三的面试者在实验人员明确指示下“只依赖 ChatGPT、别靠自己”时，面试官依然信心满满地给出通过结论——那真实的面试流程里，到底有多少错误通过的？又错过了多少真正有能力的候选人？

这种“面试流程的科学测试”其实并不复杂，当然，要得出真正可靠的统计学结论，确实需要更大规模的样本和更严谨的设计，但至少我们可以开始做点事了。与其等着行业里那些心理测量专家来制定全行业的标准，不如先在自己公司的招聘流程里搞点本地化测试。

不过话说回来，就算没有 ChatGPT，面试问题本身也没真正解决过。大多数科技公司的招聘流程，坦白讲，是有缺陷的——甚至说得难听点，是荒谬的。更有意思的是，很多公司不仅不觉得自己的流程有问题，反而引以为豪。作为候选人，我曾亲耳听到面试官说：“我们的面试流程在整个行业里排名前 10%。”当时我脑子里瞬间冒出一堆问题：你们用什么标准测量的？请了谁来做评估？是公司内部自评的还是第三方做的？问过候选人的感受吗？答案当然是否定的。

这就像写单元测试一样——你把已知输入丢进去，观察输出是不是你预期的结果。对于代码，这很轻松，因为代码大多数时候是确定性的：你给 toLower() 传一个字符串，就知道大写字母会变成小写。输入相同，结果一定相同。

但人不是代码。人类天生非确定性，相同的输入可能带来截然不同的输出。想想电影《侏罗纪公园》里 Ian Malcolm 博士对混沌理论的吐槽吧：“条件……永远不会重复，而且会极大地影响结果。”

举个简单的例子：每天早上我对门口保安 Joe 说一句“早上好”。有时候他点点头，有时候他笑一笑，有时候他会拉着我聊半天。为什么？因为他的早晨状态太飘忽了——闹钟准时响了吗？昨晚睡得好吗？配偶是不是给他做了顿好早餐？甚至他可能琢磨着：“这人怎么每天都对我打招呼，是不是想套近乎？”——这些变量我一个都控制不了，也根本不知道。

现在回到你的面试流程。如果你像大多数公司一样，有多个面试官，那就已经引入了第一个变量。不同的面试官提问方式不同、互动方式不同。很多公司随机组合面试团队——今天张三和李四面，明天王五和赵六面——团队动态又会极大影响面试结果。更可怕的是，很多面试官是临时出题，或者从 LeetCode 题库里随机抽一道题，然后在面试过程中不断通过表情、语气、肢体语言甚至直接提示来影响候选人的表现。

你当然可以尝试规范化——统一题目、统一流程、统一评分标准——但无论你多努力，如果不亲自测试一下，你永远不知道这套流程到底靠不靠谱。

这就引出了核心结论：

在继续之前，需要先说明两点：第一，我本人还没真正执行过这类测试——在某些组织中提过这个想法，但被否决了；第二，未来一定会继续推动这类测试，因为这是建立对招聘流程信心的基本前提。

把候选人丢进你的招聘流程里，你期望得到一个确定性的结果。好吧，人类世界做不到完全确定，所以我们退而求其次：至少期望一个“合理确定”的结果，在积累一定样本之后能形成稳定的判断。

让候选人像其他正常候选人一样，完整走一遍面试流程。但有两个关键注意事项：

• 不能改变流程：
  变动流程就等于改了算法，结果不再可信。

• 不能更换面试官：
  面试官本身就是流程的一部分。但如果他们知道这是一次测试，表现肯定会和平时不一样。所以必须确保面试官完全不知情。

那么，如何“知晓实验结果”呢？你需要提前准备“已知输入”：找一位公认的、水平极高的工程师，让他通过你的面试流程——流程应该识别出这是位高级工程师；再找一位完全没有相关技能的“素人”，流程应该果断给出“不录用”的结论。

具体操作上：可以找团队里已经共事过的、公认优秀的同事作为“已知-录用”输入；至于“已知-不录用”，可以请演员来扮演。为了把戏做足，“已知-录用”的候选人需要完全了解面试流程的所有环节，而“已知-不录用”的候选人则被明确告知如何回答每个问题。最重要的是，候选人的身份必须对面试官保密——这意味着你不能用公司内部的其他员工（除非公司大到互相不认识），或者必须通过技术手段隐藏候选人的外貌、声音等特征。理想情况下，直接用已经入职的员工来测试，这样能最大程度减少“这家伙到底适不适合我们团队”的争论。

顺便提一句：如果每个月穿插几次这种测试——比如每五个真实候选人里混入一个测试者，或者每十个里插一个——你甚至可以偶尔加入一个“已知-不录用但使用 ChatGPT”的候选人，看看流程能不能识破。

批评者肯定会说这是在浪费时间。但当年单元测试、QA 测试刚提出来的时候，也有人这么说。如果你觉得面试结果对你很重要，那就值得去测量、审视和批判。当然，如果你想继续用接近 0% 的信心来面试，也没人拦着你。