13人干翻Transformer，新架构SSA算力暴减千倍，成本仅Opus 5%

Transformer架构的王座，似乎开始松动了。

最近，一款名为SubQ的AI模型横空出世，其背后全新的架构思路，足以让整个行业侧目。它号称是全球首个基于完全亚二次方稀疏注意力架构（SSA）的模型，能够处理高达1200万Token的上下文长度。

关键在于，SubQ的SSA架构引入了一种“动态选择”机制。它不再像传统Transformer那样，强制计算序列中所有Token之间的关联，而是根据内容本身，智能地筛选出真正需要关注的焦点。这种思路上的根本转变，带来了惊人的效率提升——据称，其计算量相比标准Transformer直接减少了1000倍。

实验数据显示，在处理100万Token的上下文时，SubQ的速度比经过极致优化的FlashAttention-2还要快52倍以上，而成本更是不到Claude Opus的5%。

更令人惊讶的是，打造出这一架构的Subquadratic公司，总部位于迈阿密，整个团队仅有13人。消息一出，便在AI社区引发了激烈讨论。有行业观察者甚至评论道：“如果这一切都是真的，那么Anthropic和OpenAI的估值恐怕要归零了。” 也有人认为，这或许才是大型语言模型未来真正实现规模扩展的正确路径。

Transformer的“原罪”：九年未解的效率困局

自2017年谷歌那篇划时代的论文《Attention Is All You Need》发表以来，Transformer架构便奠定了其在AI领域的统治地位。过去九年，从GPT到Claude，再到Gemini，几乎所有前沿大模型都建立在同一个核心基础之上：密集注意力机制。

然而，这种机制存在一个根本性的效率瓶颈。它的工作方式堪称“暴力”：序列中的每个Token都需要与所有其他Token进行一次关联计算。这就导致了著名的“二次方复杂度”问题——上下文长度每增加一倍，所需的计算量便会飙升四倍。

后果显而易见：输入越长，模型运行就越昂贵、越缓慢，也越容易达到硬件极限。这直接解释了为何当前主流大模型的上下文窗口大多被限制在百万Token级别左右。并非技术上无法做到更长，而是经济上难以承受。SubQ的出现，正是试图从根本上改写这个效率等式。

SSA架构：核心思路是“做减法”

SubQ实现突破的关键，在于其SSA架构——亚二次方稀疏注意力。其设计思路出奇地清晰：既然在训练好的模型中，绝大多数注意力权重都趋近于零，那么为何还要耗费巨量算力去计算它们呢？

SSA采取了一种更聪明的策略。对于每一个查询（Query），模型会基于其内容语义，在长序列中动态地选择出真正值得关注的那些位置，然后仅在这些选定的位置上进行精确的注意力计算。换句话说，它只计算那些有意义的交互，而主动跳过了超过99%的、贡献微乎其微的计算。

这一架构带来了三个核心特性：

计算量仅随选中的关键位置数量线性增长，而非随整个序列长度呈二次方爆炸。这意味着上下文长度翻倍，成本也大致只翻倍，而非四倍。

模型根据语义相关性决定关注哪里，而非固定的位置偏移。无论关键信息藏在序列的第3个还是第1100万个Token，都能被有效定位。

它不像循环神经网络那样将历史信息压缩成固定维度的状态，而是保留了从原始上下文中任意位置精确检索信息的能力。

本质上，SSA的创新不在于“如何把密集注意力算得更快”，而在于“如何让模型聪明地减少不必要的注意力计算”。

减少的计算开销，直接转化为了实实在在的速度优势。

性能实测：速度与成本的碾压式优势

Subquadratic公司公布的一系列基准测试数据，每一项都极具冲击力。

在100万Token的序列长度上，SSA架构相比标准的密集注意力配合FlashAttention-2优化，速度快了52.2倍。随着上下文增长，优势呈指数级扩大：在12.8万Token上快7.2倍，25.6万Token上快13.2倍，51.2万Token上则达到23倍。这完美印证了SSA的线性扩展特性——传统方法越长越慢，而SSA则越长越显划算。

算力消耗的降低更为惊人。在100万Token下，注意力部分的浮点运算次数减少了62.5倍；当序列长度达到1200万Token时，这一数字飙升到了近1000倍。

成本对比则更为直观。在RULER 128K基准测试上，SubQ的调用成本约为8美元，而达到相近效果的Claude Opus则需要2600美元，两者相差超过300倍。

最关键的是，这些速度和成本优势，并未以牺牲模型能力为代价。在多项核心基准测试中，SubQ表现出了强大的竞争力：

• RULER 128K（长上下文理解）：
  SubQ得分95%，略高于Opus 4.6的94.8%。

• SWE-Bench Verified（代码工程任务）：
  SubQ得分81.8%，超过了Opus 4.6的80.8%。

• MRCR v2（长上下文信息检索）：
  SubQ获得65.9%，虽低于Opus 4.6的78%，但显著超越了GPT-4o的39%和Gemini 1.5 Pro的23%。

综合来看，这组数据揭示了一个令人震撼的事实：一家尚处于种子轮阶段的初创公司，以其架构创新，用不到行业巨头5%的成本，在多项关键任务上达到了与顶尖模型持平甚至超越的水平。

凭借1200万Token的超长上下文能力，SubQ可以轻松将整个代码库、长达数月的项目记录或长期运行的智能体状态一次性输入处理，而成本据说仅为传统方法的五分之一。

如果其宣称的性能经得起独立验证，这无疑是Transformer架构问世以来，最具碘伏潜力的突破之一。

13人团队：小公司的大野心

Subquadratic公司成立于2024年，目前已获得2900万美元的种子轮融资，估值达到5亿美元。公司由两位联合创始人领导：CEO Justin Dangel和CTO Alexander Whedon。

其研究团队虽仅有11人，但全部拥有博士学位，成员背景来自Meta、谷歌、牛津大学、剑桥大学、Adobe等顶尖机构。一个有趣的细节是，这家公司前身名为Aldea，最初专注于语音模型，后来才全面转向注意力架构的基础研究。

此次发布，Subquadratic一次性推出了三条产品线：

• SubQ API：
  提供完整的1200万Token上下文处理能力。

• SubQ Code：
  一个命令行编码智能体，能够将整个代码库作为上下文进行分析。

• SubQ Search：
  一款深度研究工具，发布初期将免费提供。

行业反响：碘伏性突破还是过度营销？

SubQ的发布迅速在AI社区内引发了两极分化的讨论。正如一位AI从业者所言，SubQ面临两种极端的可能性：它要么是Transformer以来最重要的架构突破，要么就可能成为AI领域的“Theranos”（指曾轰动一时后被证实为骗局的血液检测公司）。

支持者认为这是2026年最令人兴奋的AI发布之一，Subquadratic可能找到了萨姆·奥特曼曾预言的那种“另一个架构”的重大突破。许多人对这种从根本上提升效率的路径表示期待。

然而，怀疑论者的声音同样尖锐。有人质疑其技术真实性，尤其是在审视了创始人的背景后，认为这可能是一场营销噱头。

前OpenAI研究员Will Depue更是连续发文指出，SubQ的技术“几乎可以确定是基于Kimi或DeepSeek已有的稀疏注意力模型进行的微调”，而非其宣称的全新架构。

AI领域见证过太多“发布会即巅峰”的故事，华丽的PPT演示与真实世界的大规模可靠部署之间，往往存在一条巨大的鸿沟。但另一方面，正因为这项技术潜在的碘伏性如此巨大，整个行业也无法对其视而不见。最终的答案，恐怕要等到详细的技术报告公开、并由第三方机构进行独立的基准测试复现后，才能真正水落石出。