LegoGPT— 卡内基梅隆大学推出的乐高积木设计模型

legogpt 是一款由卡内基梅隆大学开发的基于文本提示生成乐高积木设计的模型，能够创建物理稳定且可组装的乐高结构。legogpt 通过自回归语言模型和大规模乐高设计数据集进行训练，根据用户提供的文本描述逐步生成乐高模型，确保其稳定性和可构建性。此外，legogpt 还支持为模型添加纹理和颜色，生成的模型既可以手动组装，也可以由机器人自动组装。这款工具为乐高设计提供了一种高效且创新的生成方法，推动了人工智能在物理世界中的应用。

LegoGPT的主要功能包括：

• 文本生成乐高设计：根据用户输入的文本描述（如“一个带有四个直腿的椅子”），生成物理稳定且能构建的乐高积木模型。
• 物理稳定性验证：实时检查生成的乐高结构是否稳定，若不稳定则自动回滚重新生成。
• 纹理和上色功能：为生成的乐高模型添加纹理和颜色。
• 自动组装支持：生成的乐高设计适合手工组装和机器人自动组装。

LegoGPT的技术原理：

• 自回归语言模型：基于自回归语言模型作为基础架构，将乐高设计任务转化为一个序列生成问题，逐步构建乐高结构。
• 物理感知的回滚机制：在生成过程中，实时检查生成的乐高结构是否符合物理稳定性要求。如果发现不稳定的部分，模型回滚到最近的稳定状态，重新生成后续的积木，确保最终设计的稳定性。
• 文本到乐高的映射：基于自然语言处理技术理解文本中的几何和结构信息，转化为乐高积木的放置指令。
• 大规模数据集训练：LegoGPT 的训练数据集包含大量的乐高结构和对应的文本描述。基于在这些数据上进行训练，模型能学习到如何从文本生成稳定且多样化的乐高设计。

LegoGPT的项目地址：

• 项目官网：https://www.php.cn/link/fe22fd595b5383f9ce1f7e2abd10584f
• GitHub仓库：https://www.php.cn/link/21ec2f4f49211916e3d9bf3fc4a16875
• arXiv技术论文：https://www.php.cn/link/5bdf44ad388f37f844f38d32761c8ae1
• 在线体验Demo：https://www.php.cn/link/fea834beaf89cb0b8e3dcc21773bdab8

LegoGPT的应用场景：

• 创意设计：帮助设计师快速生成乐高原型，验证创意。
• 教育工具：激发学生创造力，学习物理和空间知识。
• 玩具开发：为乐高爱好者生成个性化模型。
• 自动化组装：支持机器人自动组装乐高，提高效率。
• 虚拟现实：为 VR 和游戏生成逼真的乐高模型。