OpenAI发布首个电脑智能体

深夜，OpenAI亮出了他们的首个智能体——Operator。这可不是普通的AI，它能像人类一样操作电脑，关键是可以直接和网页交互，打字、点击、滚动，一气呵成。

01

Operator到底是什么？简单来说，它是OpenAI最新推出的一款创新型AI模型，就像一个会自己操作电脑的“数字助手”。我们平时用电脑，得自己点鼠标、敲键盘、盯着屏幕找东西，但Operator不一样，它能自己搞定这些，能直接和电脑界面打交道。

OpenAI为什么要开发这么个东西？动机来自三个方面。

第一，用户需求层面。现代社会充斥着大量重复性、机械化的数字操作任务——表单填写、数据整理、信息检索，不仅耗时耗力，还容易出错。Operator的诞生就是想解决这个痛点，通过AI自动化提升工作效率。

第二，技术发展角度。目前大多数AI系统仍停留在信息处理和问答交互的范畴，缺乏实际执行能力。Operator的突破在于实现了从认知到执行的完整闭环，这种能力拓展标志着AI技术向更高层次迈出了重要一步。

第三，长远战略考量。Operator的开发体现了OpenAI对AI技术潜力的深入探索——赋予AI直接操作计算机的能力，为未来更复杂的智能应用奠定基础。从技术架构来看，它很像RPA技术，但智能化程度更高。

图示：

那么，它的核心能力有哪些？

首先，它能精准理解你的指令。你给它下命令，它能完全听懂，并根据需求去执行。比如，你让它帮你买一双运动鞋，它就能在网上找到合适的店铺、比价、下单，甚至挑出性价比最高的那一双。

其次，可以自己操作网页。包括但不限于网页浏览与信息提取、表单填写与数据录入、文件管理与文档处理、邮件收发与日程安排这四大场景。

最关键的是，它有智能化决策能力。举个例子：在商品采购任务中，系统能根据预设条件（预算、品牌偏好等）进行智能筛选和决策。你让它订一张机票，它就能自己搜索航班、比较价格、下单，全程不用你操心。

这种智能化包含两个维度：一是复杂任务处理能力，二是持续学习与优化能力。以会议安排为例，Operator可以协调参会人员时间、预定会议室、发送通知，实现全流程自动化，甚至能学习你之前操作过的任务，然后自我迭代。

02

它的使用场景到底有多广？系统报告中提到了七个有趣的例子，挑几个重点聊聊。

网上购物

想象一下，你正准备买一双运动鞋。以前要自己打开购物网站、搜索款式、比较价格，还要手动填写收货地址和支付信息。有了Operator，你只需要告诉它：“帮我买一双耐克运动鞋，预算500元左右。”它就能自动完成搜索、下单，甚至还能找到最划算的优惠券。整个过程完全不需要你动手。

自动填写表单

注册账号、申请贷款，还是填写各种复杂的在线表格，这些任务不仅繁琐，还容易出错。Operator可以轻松搞定这些。

图示：

信息检索与整理

工作和学习中，我们常常需要查找各种资料。比如写一篇关于人工智能的论文，需要查找最新研究进展。以前可能在多个网站之间来回切换，手动整理信息。Operator可以直接帮你搜索相关内容，把关键信息整理成简洁的总结，甚至还能找到相关的学术论文链接，把精力从搜索中解放出来。

日程安排

计划下周和客户开个会，要协调双方时间、预定会议室、发送会议通知。听起来简单，做起来却很费时间。Operator会自动查看日程安排，找到一个双方都方便的时间，预定会议室，并发送通知给所有参与者。

有两个场景特别实用：创意内容制作和文件管理。想制作一个表情包，但不会用复杂的图像编辑软件？告诉Operator“帮我做一个搞笑的表情包，主题是‘周一的我’”，它就能自动找到合适的图片、添加文字，甚至调整风格，生成有趣的表情包。至于文件管理，以前需要手动搜索，甚至逐个打开查看内容，现在Operator能快速找到需要的文件，并把相似的文件归类在一起。

这只是它能力的一部分。

03

那么，Operator是怎么训练出来的？一共四个步骤：先让它“见多识广”，然后让它模仿（监督学习），再让它思考（强化学习），最后通过人类反馈让它少走弯路。

首先，训练数据的来源至关重要。报告中显示，OpenAI从两个主要渠道收集数据：一是公开数据集，包括行业标准的机器学习数据集、网络爬取的数据，为模型提供了广泛的任务场景，从简单的网页浏览到复杂的文件管理。二是由人类训练员创建的数据集，展示了如何在计算机上解决各种任务——点击按钮、填写表单、滚动页面等。通过这些数据，Operator学会了模拟人类操作行为。

在监督学习阶段，Operator学习基本的计算机操作能力，如视觉感知和输入控制。这一阶段的任务主要是让模型掌握基本操作技能——在网页上点击链接、填写表单，或者在文件管理器中打开文件夹。

强化学习阶段的目标是赋予模型更高级的能力，如推理和错误纠正。在这一阶段，Operator学会了根据任务需求制定执行策略，适应意外事件，并在执行任务时做出智能决策。例如，当用户要求“帮我买一双运动鞋”时，模型会自动搜索、比较价格，选择最合适的商品。Operator还学会了错误纠正：如果填写表单时出错，它会重新尝试或提示用户确认。同时，它能适应意外事件——当网页加载缓慢或界面变化时，模型能够调整策略，继续完成任务。

值得注意的是，Operator的训练数据与GPT-4有所不同。

图示：

GPT-4的训练数据主要集中在文本理解和生成上，而Operator的训练数据更偏向视觉和交互任务。这种差异使得Operator在处理图形界面和复杂操作时表现更出色，但纯文本任务上不如GPT-4灵活。

最后，通过人类反馈，Operator能够进一步优化性能。人类训练员的反馈帮助模型在实际应用中少走弯路，提高其在真实场景下的适应性和效率。整体思路就是：先有数据、让它模仿、开始思考，人类使用后再进化。

04

风险意识和伦理安全自然少不了。报告中显示，开发Operator的过程中，OpenAI始终将安全性放在首位——毕竟，让一个AI模型操作计算机，相当于赋予它一双无形的手。为此，OpenAI采取了一系列多层次防护措施。

具体来看，主要包括三点：

第一，主动拒绝高风险任务。当你要求它购买违禁品或执行其他潜在有害的操作时，模型会直接说“不”。根据OpenAI内部评估，Operator对高风险任务的拒绝率高达97%，这种机制有效防止了模型被滥用或执行不当操作。

第二，在执行高风险操作时，Operator会主动要求用户确认。比如，在发送重要邮件或完成购买之前，它会先展示相关内容，询问用户是否确认继续。这种机制确保了用户对关键操作的控制权，减少了模型错误带来的风险。在一些敏感网站（如邮箱、银&行网站）上，它会自动进入“监控模式”——如果离开页面或长时间未操作，模型会暂停任务执行，直到用户返回并确认继续。

另外，为了全面评估风险，OpenAI邀请了来自全球20个国家的红队成员，使用多种语言对Operator进行了测试。

图释：

红队成员的任务是尝试绕过模型的安全措施，例如通过提示注入攻击或恶意指令误导模型。尽管测试环境受到限制（使用模拟网站和数据库），但红队测试仍然发现了关键漏洞，这些发现帮助OpenAI进一步完善了模型的安全性。

当然，Operator也面临一些挑战。目前，它擅长处理短任务和重复性操作，但在复杂任务（如幻灯片制作、日历管理）上表现不佳。例如，处理多步骤任务时，模型可能会因为界面变化或意外事件而失败。在处理长DNA序列、随机字符串（如API密钥）或复杂代码时，Operator的光学字符识别（OCR）系统表现不佳——这因为任务超出了训练数据的范围，导致模型在识别和操作内容时容易出错。而且，尽管OpenAI已经采取了多种措施防止提示注入攻击和恶意指令，但Operator在面对新型对抗性攻击时仍可能表现出脆弱性。

总的来说，OpenAI对Operator的未来发展充满信心，计划在三个方面下功夫：一是具体的真实场景；二是更多代码编辑和终端操作；三是继续优化安全防御性能，为真正实现AGI之路而奋斗。

目前，Operator AI Agent已经上线，但仅面向Pro用户，定价200美元。这不禁让人联想到RPA技术——本质上就是让AI像人一样操作电脑。国内前段时间流行的手机点单也是类似的思路。期待国内大模型能迅速跟进，实现弯道超车。