六款主流AI聊天机器人实时新闻问答能力测评

一项针对六款主流AI聊天机器人的系统性测评，最近给行业提了个醒：这些家伙在回答实时新闻问题时的准确性，远没有表面看起来那么“整齐划一”。研究发现了显著的地区性差异，对特定信息生态系统的深度依赖，以及——一个更棘手的短板——一旦用户提问不够精准，它们就很容易“掉链子”。

背景与研究动机

先说几个关键背景。目前，大约有10%的美国人会时不时地靠AI聊天机器人来获取新闻资讯；在25岁以下的全球新闻用户中，这个比例更是接近15%。问题在于，用户的信任度，似乎已经超前于系统的真实可靠性。大约一半通过AI获取新闻的美国成年人表示，自己曾接触到他们认为不准确的信息，而将近三分之一的人坦言，自己很难分辨AI给的信息是真还是假。随着AI聊天机器人逐步取代传统搜索引擎的角色，并且越来越多地被用户信任而不去跳转原出处，一个核心问题就摆在了台面上：当我们需要回答一个“今天发生了什么”式的实时新闻问题时，AI聊天机器人到底靠不靠谱？

研究设计

在这份预印本研究中，研究团队的设计相当扎实。他们对六款商用AI聊天机器人进行了评测，总共涵盖了2100道即时新闻问题，产生了12600条模型回答，覆盖了六个不同的地区和语言。评测周期为2026年2月9日至22日，整整14天。具体操作是：研究人员每天从BBC六个地区频道（美国及加拿大、非洲法语区、阿拉伯语、印地语、俄语、土耳其语）的当日报道中，生成150道选择题——每个地区25道，题目聚焦于具体数字、命名消息来源、地点、时间这些细节信息。然后，他们分别向六款面向用户的商用AI聊天机器人提问。

总体准确率与地区差异

从整体数据来看，表现最好的系统包括Gemini 3 Flash（准确率95.6%）、Grok 4（95.0%）和Gemini 3 Pro（93.7%）。换句话说，每十道题里，它们能答对超过九道。这个成绩相较于此前的实时问答基准测试（如RealTime QA），确实有明显提升。

然而，总体准确率这个数字，掩盖了一个非常关键的问题：这种能力并不是均等地服务于所有用户的。数据显示，六个地区中有五个的准确率集中在88.9%到91.3%之间，但印地语区的平均准确率仅为79.3%，比第二低的地区低了将近10个百分点。更值得注意的是，所有被测模型在印地语上的表现都是最差的，印地语的错误量大约是其他任何地区的两倍。即便剔除表现最弱的GPT-4o-mini，其余五款较强模型在印地语上的错误率仍高达约16%，而其他五个地区仅为5%到8%。这个差距，相当扎眼。

错误类型分析

研究团队利用三个大语言模型作为标注者，把全部1497条错误答案划分为八类。分析结果表明，其中两类错误占据了绝对主导地位，合计超过总错误数的70%：

一类是

（模型无法定位到足够相关的内容），占比38.8%；另一类是（模型检索到了主题相关但事实有出入的替代来源，并据此作答），占比32.7%。剩下的六类错误加起来，还不到30%。

一个有趣的发现是：当模型成功检索到正确的来源时，几乎总能从中提取出正确答案。换句话说，真正的瓶颈在于“查询”与“证据”之间的连接，而不是后续的推理过程。

这个规律，恰好能帮助我们重新理解印地语表现差距的根源。问题不是语言理解能力不足——这些系统能够流畅阅读印地语并进行有效推理——而是“证据绑定”的失败。具体来说，当检索流程无法找到目标印地语文章时，系统会返回一篇报道同一宏观话题的英语来源，然后模型就据此作答，却几乎不会提示用户来源已经切换了。举个例子：在印地语查询的引用数据中，被引用最多的单一域名，竟然是英语版维基百科，其引用次数超过了所有印地语新闻媒体的总和。有个典型错误案例：某模型被问到“印度商船海员占全球劳动力的比例”，BBC印地语报道的数据是7%，但模型却检索到一个英语行业门户网站上流传的10%到12%的数据，最终给出了“10%”的错误答案。而且，类似模式在多数非英语地区，以不同程度反复出现。

引用来源分析

研究团队对全部12600条模型回答中引用的所有URL进行了分析，发现了两个非常显著的规律。

第一，Grok 4对BBC新闻的引用率异常之高——28.5%的回答包含了BBC链接，尽管Grok与BBC之间并无已知的公开合作关系。相比之下，其他三款聊天机器人几乎从不引用BBC（Claude 4.5 Sonnet 0.0%、GPT-4o-mini 0.0%、GPT-5 0.2%），而两款Gemini模型是偶尔引用（Pro 4.1%，Flash 6.9%）。这种差异，很可能与爬虫政策和许可合规性有关，而不是单纯反映检索能力的高低。了解背景的人都知道，BBC一直积极执行robots.txt限制，并曾威胁要对未经授权爬取其内容的AI公司采取法律行动。遵守规定的服务商，在机制上就会减少对BBC的引用，这和检索效果本身是两码事。Grok 4较高的引用率，可能反映的是更激进的爬取策略，而非更优越的检索基础设施。

第二，一个更值得警惕的现象：即使在回答非英语新闻相关问题时，各模型依然高度依赖英语来源。在本研究涉及的六个BBC地区频道中，只有美国及加拿大频道是以英语发布内容的。然而，在整个研究中，被引用最多的十个域名里有九个主要是英语，英语版维基百科是被引用次数最多的单一来源，并且在六个地区中都位列被引用最多的前三名。这个发现表明，印地语表现差距所揭示的问题，并非印地语所独有。它实际上是AI介导新闻检索中的一种普遍倾向：面对非英语问题时，模型往往通过全球索引的英语来源进行信息检索，而这些来源在数字、引语、背景细节或编辑侧重点上，可能与原始本地报道存在差异——即便描述的是同一事件，也可能产生事实偏差。

这一现象的“下游影响”相当深远：当同一新闻事件被不同用户查询时，不同聊天机器人所依据的来源在实质上可能存在差异。这是AI介导访问所特有的一种信息碎片化形态，它不同于传统新闻消费中一向存在的编辑选择效应，而且在很大程度上受法律和商业安排的影响，而非纯粹由检索工程决定。问题是，用户对这一层几乎一无所知。

对抗性问题测试

不过，在表述规范的问题上表现良好，这只是可靠性评估的一部分。现实中的用户经常会提出“不完美”的问题：他们可能记错名字、混淆事件，或者把存在争议的前提当成既成事实。为了测试系统对这种“刁难”的处理能力，研究团队针对美国及加拿大问题集，专门构建了对抗性变体。每道对抗性题目在保持问题结构合理的前提下，引入了一处细微的事实偏差（比如错误归因、虚构细节、范围反转等）。一个鲁棒的系统，应该能识别出虚假前提，或者在存在误导性表述的情况下，仍然能恢复出经过验证的事实。

结果很有趣。在正常的选择题条件下，四款前沿模型的准确率集中在88%到96%之间，差距大约8个百分点。但在对抗性条件下，差距直接扩大到51个百分点：Grok 4保持了70.0%的准确率，而GPT-5则跌至19.0%。

更细粒度的分析，将两种能力区分开来：一是“检测”——模型是否在推理过程中明确标记或纠正了注入的虚假信息；二是“对抗性准确率”——最终答案是否正确。两者呈现出一种“分离态势”：检测能力最强的Gemini 3 Pro识别出了80%的虚假前提，但最终只有55%的答案正确；Claude 4.5 Sonnet检测到78%，准确率仅为46%；而Grok 4虽然只检测出59%的虚假前提，但在对抗性准确率上排名第一——原因在于，它的检索流程通常能在未识别虚假前提的情况下，直接找回正确事实。

研究局限与政策意涵

研究团队也指出了几点重要局限。其一，本研究采用的是选择题形式，而并行的开放式问答验证显示，准确率绝对值下降了16%到17%，但模型排名在三位独立大语言模型评审标注者之间保持稳定。其二，BBC新闻是索引完善、可信度高的来源，在知名度较低的媒体上的表现可能更差。同时，遵守BBC许可和爬取限制的服务商，在这个基准测试上会处于机制性劣势。其三，所有查询均源自美国服务器，这可能会放大非英语地区的英语检索偏向。

从更宏观的视角来看，对AI新闻中介的公共利益评估，不应该仅仅以总体准确率作为单一指标。还应该衡量跨语言和跨地区的检索保真度、来源归因及其法律决定因素，以及对用户日常提出的“不完美问题”的鲁棒性。这些维度正变得愈发重要。2026年路透社新闻研究所的一项调查显示，新闻高管预计，未来三年内谷歌搜索给出版商带来的流量将下降43%。随着越来越多的用户通过AI而非直接访问出版商网站来接触新闻，检索、归因和来源选择方面的差异，将日益决定哪些报道能够到达大众，以何种条件呈现，以及如何呈现。

因此，问题已经不再是“AI聊天机器人是否会成为新闻中介”——它们已然如此。更紧迫的问题是：用户、记者和政策制定者，能否看清这些AI系统差异最显著的那些维度？研究结果表明，许多关键差异——包括地区检索差距、来源选择模式，以及对不完美或虚假前提的易感性——在很大程度上仍然不可见，尤其是当它们被隐藏在一个简单的准确率指标之下时。研究团队希望这项研究，能够推动社会各界围绕通过AI获取新闻的机遇与风险，展开更广泛的讨论。

本研究部分由斯坦福大学以人为本人工智能研究院资助支持。

Q&A

A：根据这项针对六款商用AI聊天机器人的测评，表现最佳的系统准确率超过90%，其中Gemini 3 Flash达到95.6%，Grok 4为95.0%，Gemini 3 Pro为93.7%。但总体准确率存在地区差异，印地语区平均准确率仅为79.3%，明显低于其他地区的88.9%至91.3%。

A：根本原因不是语言理解能力不足，而是检索基础设施对印地语新闻的索引覆盖不足。当模型无法找到目标印地语文章时，会自动切换到英语来源作答，而英语来源中的数据或细节可能与印地语原始报道不同，导致答案出现偏差。在引用数据中，印地语查询被引用最多的来源竟是英语版维基百科，而非任何印地语新闻媒体。

A：不同模型差异极大。在正常问题上准确率相近（88%至96%）的模型，在对抗性问题上表现差距扩大至51个百分点：Grok 4保持70%准确率，而GPT-5跌至19%。值得注意的是，检测到虚假前提的能力与最终答对的能力并不一致，Gemini 3 Pro虽能识别80%的虚假前提，但最终答对率仅55%；Grok 4识别率只有59%，但准确率反而最高，因为其检索流程能在未识别错误的情况下找回正确事实。