从 Data 到 Data + AI，必然之路还是盲目跟风？

先说说几个核心判断：数据和人工智能正在以前所未有的速度重塑我们的世界，而作为这一切底层支撑的数据平台，其演进路径也远比想象中要复杂得多。从早期的数据库时代，到后来的大数据浪潮，再到如今大模型驱动的AI时代，每一次技术迭代都不只是工具的升级，更是一场关于“如何定义和挖掘数据价值”的认知革命。

数据量在爆炸式增长，AI应用正在渗透每一个角落。企业面临的挑战早已不是“有没有数据”，而是“如何高效地管好数据、用活数据”。这直接推动了数据平台架构的持续进化：从Lambda架构到湖仓一体，再到云原生范式，每一次迭代都试图解决前一阶段留下的痛点。

但现实情况是，当前的数据平台依然存在不少“硬伤”。比如，结构化数据分析架构在存储层容易出现数据冗余和不一致；组装式的数据架构虽然灵活，但管理复杂、开发成本居高不下。更关键的是，随着AI计算范式的兴起，数据平台需要从过去“1:1”的匹配关系，转向“M:N”的复杂体系，这意味着Data Centric AI、重回搜索时代、统一元数据管理等趋势，将成为决定下一代平台成败的关键变量。

我们需要正视这些问题，并寻找务实的解决路径。以下内容将围绕数据平台的演进历程、现有挑战、架构革新方向和未来趋势展开，希望为读者提供一些扎实的思考锚点。

从历史中看清方向：数据平台的三次革命

回顾过去五十年，数据平台技术经历了三次里程碑式的变革。

关系型数据库的诞生，奠定了商业智能（BI）等数据应用的基础，这是数据管理从无序走向有序的开端。

以Hadoop、Spark为代表的分布式技术，让海量数据的低成本存储和批处理成为可能。这一阶段的核心特征是“数据量大、成本低、架构分布式”。

生成式AI的爆发，使得数据平台不仅要处理“过去发生了什么”，还要能“推理出还能发生什么”。AI不再只是消费数据的工具，它本身成为了数据平台的核心组件。

每一次革命，都意味着旧有架构的瓶颈被放大，新的范式应运而生。

当前数据平台的架构现状与真实痛点

从物理结构来看，当前主流的数据平台通常是这样的：数据从生产系统采集，汇聚到一个统一存储中心，然后通过BI或AI引擎进行分析，最终对接上层应用。听起来很流畅，对吧？但现实远没有那么美好。

从技术组件视角来看，搭建一个稳定、高效的数据平台，涉及到分层设计、多组件集成和复杂的运维工作。目前最常见的主流架构，是以结构化数据为核心的Lambda架构——结合数据湖和一些AI平台，组成一套“万金油”式的解决方案。数据湖和数仓负责存储，上层则挂载不同的处理引擎，以应对批处理、流处理和实时分析等不同场景。

但问题也出在这里：

• 存储层的冗余与不一致：
  同一份数据可能被复制到多个系统中，不仅造成存储成本飙升，更会引发数据质量问题和逻辑矛盾。

• 组装式架构的复杂度：
  各个组件之间耦合度低、灵活度差，管理和开发效率一直上不去。

正是在这种背景下，“湖仓一体”的概念开始走红。自2019年起，湖仓一体逐渐成为行业共识。它的核心思路很简单：采用标准、开放的存储介质，统一元数据，实现数据的一致性、可更新和流批一体处理。实践证明，Iceberg在表格式标准之争中胜出，Snowflake和Databricks也先后拥抱了这一方向。不过，湖仓一体在落地时形态各异，理想状态是——所有数据持久化在公共存储层，通过缓存或索引优化，只维护一份元数据。

云原生与计算引擎一体化：架构演进的两大杠杆

如果说湖仓一体解决了数据存储层面的问题，那么云原生架构则让计算层面变得更加灵活。自从2000年代初云计算概念兴起，存储与计算分离就成了主流。数据存放在低成本的对象存储上，计算资源则按需弹性伸缩，实现资源池化。好处很明显：池化资源利用率高，负载隔离好，成本可控，服务水平协议（SLA）有保障。

与此同时，计算引擎的一体化也是一个重要趋势。当前市场上，不同计算引擎之间存在着严重的SQL语法和语义差异，导致开发成本和资源成本都在上升，新业务响应周期变长。未来的计算引擎，应该朝着统一接口、统一语法、统一语义的方向演进，能够在数据新鲜度、查询性能和资源成本之间提供多种平衡点，并支持灵活调节。

未来四大趋势：数据平台的下一个十年

面向未来，数据平台的发展有四个清晰的方向，值得深度关注。

过去，一种数据对应一种处理方式。现在，随着AI能力的融入，数据平台需要管理更多类型的数据（尤其是非结构化数据），并整合大模型能力，实现数据融合处理。这意味着，平台要能将AI能力直接作用于非结构化数据，从中提炼出真正有价值的信息。

在AGI时代，模型和算力趋于同质化，企业的差异化竞争优势，就来自于“如何让私有数据与通用模型深度融合”。事实上，绝大部分AI任务本质上都是数据处理任务。因此，拥有海量、高质量的私有数据，是预训练模型产生实效的前提条件。

过去，数据平台主要服务于BI分析，而现在，模型应用需要一种类似于搜索的技术链路。以智能问答系统为例，非结构化数据的处理流程与结构化数据加工高度相似：采集、转换、存储，再加上与大模型对接。换句话说，搜索技术的基本框架，正在成为AI数据管道的新底座。

据统计，企业中有80%的数据是“暗数据”——即非结构化数据，这些数据目前管理得并不好。大模型和AI技术的兴起，为挖掘这些暗数据带来了新机遇。但如何把非结构化数据纳入统一的数据管理平台，实现资产化、打标签和增强元数据信息，是下一代数据平台必须啃下的硬骨头。

未解的难题：探索仍在路上

针对以上趋势，不少厂商已经展开了大量探索和尝试，但实践中也遇到了几个真正棘手的问题：

• 当自动代码生成成为主流后，SQL和Python，谁会占据上风？
• 数据平台的“自动驾驶”究竟什么时候才能实现？
• 半结构化和非结构化数据的知识，最终该用什么方式进行显式表达？

这些问题目前还没有标准答案，它们将决定未来五年数据平台的演化方向。

写在最后

数据基础设施的演进，从来不是一条笔直的道路。从Data到Data+AI，我们需要的是持续创新与务实优化——而不是盲目追逐概念。未来，我们期待看到更多技术突破和真正落地的应用场景，为企业带来实实在在的竞争力。