昇腾赋能三维生成新突破！浙大团队实现跨模态可控3D CAD建模

三维虚拟内容创作的成本高、效率低，这几乎是整个行业的“老毛病”了。尤其是在VR、元宇宙概念火热的当下，如何快速把一张草图或者几张照片变成可编辑、可制造的3D模型，一直是技术攻关的硬骨头。最近，浙江大学计算机学院博士生陈天润团队带来了一项有意思的突破：他们基于昇腾平台的NPU，实现了首个三维模型生成算法模型——Img2CAD。这项工作的背后，依托的是浙江大学鲲鹏昇腾科教创新卓越中心提供的算力支持。

说起来，这次的核心突破在哪？简单讲，就是用生成模型直接输出脚本语言，从而精准描述三维结构。以往这类任务往往绕不开可微渲染器，计算开销大不说，还很难在NPU上完整跑通。而新方法通过Transformer结构，把草图、图片这类稀疏、抽象的多模态输入高效“翻译”成三维几何信息——整个过程不需要大量Vector算力，训练和推理都能在NPU上完成。更重要的是，最终输出的模型可以直接导入现有的CAD软件进行编辑，也能直接用于3D打印、CNC加工或者数字展览。这其中，昇腾加速套件MindSpeed发挥了关键作用：它支持多类型数据加载，能灵活适配多模态数据的异构特征，保障了视觉大模型与脚本语言表示模块的高效协作。

在交互体验上，团队也对算法模型结构做了优化，实现了三维生成的“即时交互”。CANN算子库充分发挥了NPU的并行计算能力和高效内存访问机制，大幅降低了计算延迟和通信开销。这意味着用户画几笔草稿，系统就能快速响应，生成对应的3D模型——这种流畅度，对实际落地场景来说至关重要。

目前，这套三维生成方法已经用于构建3D数据资产，并且落地到了KOKONI 3D打印机的应用场景中。换句话说，它能为数字制造、AR/VR等产业提供一套高效的内容创作解决方案。学术层面，项目已经产出了3篇成果论文，包括1篇中科院1区期刊和2篇CCF-A类会议论文。商业化方面，部分成果已经开始在实际场景中跑通，未来还会继续借助昇腾的澎湃算力，在三维数字化产业中拓展应用。

这次跨模态可控三维生成技术的突破，某种意义上也是浙江大学鲲鹏昇腾科教创新卓越中心在产学研融合上的一次成功示范。它标志着智能三维内容创作正在进入一个“低门槛、高效率、高质量”的新阶段。可以预见，随着技术的迭代，Img2CAD这类模型将在工业设计、数字文创、AR/VR等领域释放更多创意动能，虚拟与现实世界的边界也会因此变得更模糊、更有趣。