互联网档案馆被美媒封杀，“AI圈地运动”来了

刻在石头上的碑文会风化，写在纸上的文字会被遗忘

千百年来，如何保存信息一直是人类文明的核心难题。互联网的出现，一度被视为这个难题的终极答案——一个近乎完美的信息载体。“互联网是有记忆的”，这句话曾是我们深信不疑的共识。

然而，这个共识在2015年遭遇了来自其缔造者之一的沉重一击。TCP/IP协议和互联网架构的联合设计者、时任谷歌副总裁的温特·瑟夫，抛出了一个在当时看来颇为惊人的观点。他认为，随着数字技术的快速迭代与格式的不断更替，我们今天存储在互联网上的海量图片、文档和文件，未来很可能变得无法读取，从而彻底丢失。人类或将步入一个“数字黑暗时代”，以至于我们的后代可能根本找不到关于21世纪的历史记录。

作为互联网的奠基人之一，温特·瑟夫的警告绝非危言耸听。过去十年间，他的担忧正一步步从预言变为我们触手可及的现实。

消失的网页与失效的快照

先看一组数据。2023年，美国皮尤研究中心发布了一份报告，其中揭示了一个令人不安的事实：截至2023年10月，在2013年至2023年这十年间存在过的网页中，已有高达25%的状态变成了“404 Not Found”。这意味着，每四个网页中就有一个已经永久消失。紧接着，在2024年，谷歌、百度、必应这三大主流搜索引擎又相继做出了一个关键决定：取消网页快照功能。这等于又关闭了一扇回溯历史信息的重要窗口。

如果说以往互联网信息的散佚，多源于平台因运营成本主动关闭服务，那么最近发生的一系列事件，则让“数字黑暗时代”的阴影变得更加具体，甚至带有几分讽刺意味。根据《连线》杂志日前的报道，《USA Today》、《纽约时报》、《卫报》等多家全球知名媒体，开始集体屏蔽互联网档案馆旗下著名的“时光机”快照功能，不再允许其爬虫抓取和存档自己的页面。

这里有个颇具戏剧性的例子。《连线》在报道中提到，《USA Today》不久前曾刊发一篇深度调查，揭露美国移民与海关执法局如何拖延披露其拘留政策的影响。而这篇报道所依据的关键数据，恰恰来自互联网档案馆的“时光机”。对此，互联网档案馆的负责人马克·格雷厄姆颇感无奈地吐槽：“他们能完成这篇调查报道，正是得益于‘时光机’的存在。可现在，他们却反过来封禁了访问权限。”

媒体的官方解释听起来似乎各有苦衷。《USA Today》的发言人表示，此举是全面封禁所有爬虫程序的一部分，并非专门针对互联网档案馆。《卫报》的高管则解释，主要是担忧人工智能公司滥用为存档目的而抓取的内容。据统计，目前已有超过20家主流新闻网站，屏蔽了互联网档案馆用于存档的专用爬虫。

无妄之灾：当存档者成为“替罪羊”

作为全球最知名的非营利性数字图书馆，互联网档案馆一直是公众回溯网络历史最有效的工具，但这也让它近年来麻烦不断。早在2023年，其旨在保护黑胶唱片录音的“Great 78项目”，就曾遭遇索尼等唱片巨头的版权诉讼，最终导致数千份数字化录音被迫下架。如今，新闻媒体们又以版权保护为由，拒绝其收录“网络记忆”。

这就引出了一个关键问题：新闻媒体的数字化进程始于本世纪初，互联网档案馆收录其网页的历史也超过二十年，为何直到现在才突然大张旗鼓地“保护版权”？

其实，从某种意义上说，互联网档案馆这次是遭遇了“无妄之灾”。这些媒体真正想要防范和对抗的，并非这个公益存档机构，而是来自AI厂商的数据爬虫。

版权博弈下的新逻辑

关于新闻媒体与OpenAI、Anthropic等AI巨头之间的版权诉讼，如今已是屡见不鲜。但问题在于，在全球主要经济体都将AI发展视为核心战略的背景下，版权大棒打在财力雄厚、势头正盛的AI厂商身上，往往收效甚微。通过法律途径保护自身内容资产不被无偿利用，对媒体而言正变得越来越困难。

既然无法阻止自家记者、编辑产出的高质量内容成为训练AI大模型的“饲料”，新闻媒体的商业逻辑也随之发生了转变。当自己的内容不可避免地会变成未来绞杀自身的“绞索”时，他们选择了一个更现实的策略：把这根“绞索”卖个好价钱。也就是说，与OpenAI等AI厂商达成内容授权合作，从被无偿使用转变为有偿交易。

这个选择背后是残酷的商业计算。将内容授权给AI公司，固然有“饮鸩止渴”的风险，毕竟终有一天AI的写作能力可能超越人类。但是，如果放任互联网档案馆将自己的历史内容免费公之于众，那么媒体连眼前这笔可观的授权费都拿不到。在生存压力面前，互联网档案馆所代表的“全球网民公共利益”，便不得不为商业利益让路了。

不得不说，AI大模型技术确实深刻地重塑了互联网世界的运行规则。未来，这种以“建墙”来保护数据资产的方式，或将成为新的常态。Web 3.0所畅想的去中心化理想和创作者经济，正在以一种出人意料、甚至有些面目全非的方式，悄然变为现实。数字记忆的保存，从未像今天这样，处于商业、技术与公共利益的复杂博弈之中。