热门搜索:和平精英 原神 街篮2 

您的位置:首页 > > 教程攻略 > ai资讯 >面对AI的安全风险,做一个“死磕派”守门人 | 新青年•创业场

面对AI的安全风险,做一个“死磕派”守门人 | 新青年•创业场

来源:互联网 更新时间:2026-07-28 08:17

在AI技术飞速发展的时代,深度伪造、AI反诈等安全威胁日益凸显,如何为人工智能的发展筑起一道安全防线,已成为行业关注的焦点。瑞莱智慧,一家脱胎于清华大学人工智能研究院的创业公司,用8年时间,专注于AI安全领域,从理论到实践,逐步构建起一套应对AI风险的产品体系,在关键时刻守护着数字世界的安全。

从“50年以后”的技术到现实防线

2012年,当人工智能热潮尚未到来,业内普遍预测AI落地需要50到60年时,瑞莱智慧的创始人田天却凭着兴趣,在清华大学计算机系选择了这个方向。从最初的“下象棋、玩小游戏”到后来聚焦于生成式人工智能,他始终坚信要做引领行业的事

博士期间,田天将目光投向了AI安全领域。2018年博士毕业时,他选择走出学术圈,将研究成果转化为实际应用。

“当时看到人工智能所存在的问题,尤其是不够安全可控,导致没法广泛应用到更多行业场景中,就决定将学术研究转化为实际应用。”

他在博士阶段发表的多篇论文都聚焦于模型的鲁棒性问题,这为日后进入AI安全赛道埋下了伏笔。

安全是AI的“1”,其余都是后面的“0”

2018年,瑞莱智慧正式成立,初始团队仅有五六人,依托清华大学人工智能研究院发起设立。公司首席科学家由清华大学人工智能研究院名誉院长张钹院士、清华大学人工智能研究院副院长朱军教授共同担任。

安全是AI使用的前提条件。安全是‘1’,其他的才是后面的‘0’。没有足够的安全保障,AI根本无法发挥作用。”田天说。

在AI公司普遍追求算法和应用场景的时期,安全被认为是很遥远的事。团队在推广时遇到不少困难,客户不理解、不接受,觉得“这件事做得有点早”。但田天和团队判断,如果安全问题不解决,AI落地的期待都将无法实现

转折点很快到来。公司成立不久,田天联系到了一家金融机构,其风控系统在关键指标上有提升空间。团队与客户“联合共创”,从业务需求出发,一点点磨合,做出了第一版面向金融场景的AI风控产品。第一年项目顺利交付并拿到收入,极大提振了初创团队的信心。

八年过去,市场终于证实了当初的判断。随着大模型广泛应用,越来越多人认识到AI安全的重要性。“我们是看准了它长期的价值和重要性,坚持去做,最终还是得到了认可。”田天说。

给AI大模型装上“护栏”:三道防线

田天和团队发现,AI系统在真实场景中面临的安全挑战,远比想象中复杂。

例如,人脸识别系统看似成熟,但在对抗样本攻击面前却十分脆弱。攻击者只需在图像上添加人眼难以察觉的微小扰动,就能让系统将一张脸识别成完全不同的另一个人。深度伪造技术生成以假乱真的视频,所需的算力和数据门槛也在急速降低,攻击成本下降,防御难度却在上升。

正是基于对这一结构性缺口的判断,瑞莱智慧从一开始就将自己定位为一家AI安全公司,并构建起三道重要防线

第一道防线:对抗AI的伪造

用AI合成图片、视频、声音的深度伪造技术,正在被黑产用于反诈、造谣。人脸识别身份核验系统被大量应用于金融机构,但黑产利用AI合成技术仿冒成受害者通过验证。“这种攻击手段已经给很多金融机构和个人造成了实际损失。”

瑞莱智慧的生成式人工智能内容检测平台DeepReal,专门用于判断一段内容究竟是真实的还是AI合成的。在人脸识别场景,公司推出了人脸AI安全防火墙RealGuard,能在攻击发生时识别并拦截,从而避免潜在损失的发生。

第二道防线:修复AI自身的脆弱

大模型时代,幻觉、偏见、数据泄露、被注入恶意指令等问题开始浮现。瑞莱智慧采取攻防两端的策略。一方面,团队研发了红队模型,主动对市面上的主流大模型进行对抗性测试。他们发现,包括OpenAI的GPT-4o、Google的Gemini在内的头部模型,在自动攻击下都可以实现100%的攻击成功率。“这对我们是一个很大的震撼,”田天说,“这说明行业内非常头部的企业和模型,也存在很大的安全缺陷。”

另一方面,瑞莱智慧提供安全加固方案——给大模型装上“护栏”,确保其在任务中输出可信、可控、符合规范的内容。2025年初,清华与瑞莱智慧联合团队推出RealSafe-R1系列大模型,在多个基准测试中增强了各种越狱攻击的抵抗力。

第三道防线:预防实体世界的风险

2026年,随着智能体和具身智能机器人的兴起,AI正从“回答问题”的对话框,进化为“执行任务”的行动者。风险也随之从虚拟世界延伸到物理世界。“具身智能机器人的安全更直接,因为它是在物理世界里,如果没办法应对特殊情形,很有可能伤害人类,直接对人的生命安全造成威胁。”田天说。瑞莱智慧已布局这些前沿领域,随着具身智能的发展,他们希望持续开展安全相关的研究和技术研发,适时推出新的AI安全产品。

八年服务数百家客户

从2018年到现在,瑞莱智慧已经走过了八年。公司围绕“为AI提供全方位安全基座”,推出了大模型安全评测平台、生成式人工智能检测平台DeepReal、人脸AI安全防火墙RealGuard等一系列产品,服务客户数百家,包括央国企、金融机构等。

团队多次在各类国际测评和竞赛中斩获冠军,并在ICML、NeurIPS、ICLR、CVPR等国际顶级会议上发表论文数百篇,参与了50余项国际、国家及行业标准的制定工作,累计获得各项知识产权300余项,其中授权发明专利180余项。研究团队还参与承担了科技部、工信部等部委发起的多个国家级重大项目建设任务。

但挑战从未停止。“那些黑产攻击者的技术手段也在快速迭代,也在规避我们的检测技术,”田天说,“所以我们得不停地迭代,一两周就得有一个版本,不停的往前跑。”

田天今年35岁,团队平均年龄28岁。在他看来,这一代年轻人“更有追求,更愿意去做一些有长期价值的事情,而不愿意接受一份平庸的日常工作”。

八年来,瑞莱智慧的产品切实应用在政务、公安、金融、科研等很多重要场景。但让田天真正觉得这件事值得做下去的原因,是希望“让我们的成果走出实验室,成为用户信任、使用人工智能的理由”。

对田天来说,这不是一个阶段性的任务,这正是他口中“有长期价值的事”。

小提示:

在日常生活中,对于要求高度机密的视频通话或文件,可尝试通过约定“暗号”或“特定动作”来核实对方身份,增加一层安全保障。

热门手游

相关攻略

手机号码测吉凶
本站所有软件,都由网友上传,如有侵犯你的版权,请发邮件haolingcc@hotmail.com 联系删除。 版权所有 Copyright@2012-2013 haoling.cc