大模型玩游戏，Deepseek-R1-0528 太强了

图片

大家好，我是 ai 学习的老章

看到一个很有意思的测试

让不同的大模型玩俄罗斯方块、推箱子、糖果粉碎传奇，对战结果有点出乎预料

https://x.com/haoailab/status/1929997363407708646

https://x.com/haoailab/status/1929997363407708646

Deepseek-R1-0528 在多个游戏中智胜 o4-mini 等强推理模型，在俄罗斯方块上几乎达到 SOTA 水平，与 o3 打得难分高下。 ✨ ?

，时长00:26

图片

Deepseek-R1-0528 在非视觉类游戏中带来显著提升，包括推箱子和俄罗斯方块等长线游戏中的分数都翻倍了！ ?

Qwen3-235B-A22B 作为极具竞争力的开源模型崭露头角，在《糖果粉碎传奇》等空间推理游戏中超越了 Gemini-2.5-flash-preview-0417

，时长00:48

图片

? Deepseek-R1-0528 不仅在俄罗斯方块所向披靡，在需要强大空间推理能力的糖果粉碎传奇中也正逼近 SOTA 水平。

它以三轮平均 491.7 分的成绩（对比 o3 模型的 647.0 分），成为目前最接近顶级水平的开源竞争者。

Qwen3-235B-A22B 以稳健的 363.3 分紧随其后。 

，时长00:27

Obsidian 2025-06-04 22.06.30.png

Obsidian 2025-06-04 22.06.30.png

很好奇

这个测试是怎么实现的呢？

其实是基于这个项目：https://github.com/lmgame-org/GamingAgent

这是一个在标准化交互式游戏环境中启用和测试基于大型语言模型（LLM）和视觉语言模型（VLM）的智能体。

图片

主要功能：

模型评估（基础模式）： 在一系列多样化的视频游戏中评估当前最先进的模型（LLM/VLM），这种评估在没有特定游戏控制框架（gaming harness）的“单一模型 VLM 设置”下进行。智能体部署与评估（定制化流程）： 使用项目定制的 GamingAgent 工作流程（即游戏控制框架）来部署和评估模型，目的是提升模型在游戏中的表现。PC 端游戏智能体： 用于部署可以在个人电脑和笔记本上运行的计算机使用智能体（Computer-Use Agents, CUAs）。

图片

项目还推出了 Lmgame Bench，这是一个用于游戏智能体的基准测试平台，可以查看各个模型在游戏任务上的表现。

该项目支持多种主流 AI 模型的 API，包括：

OpenAI (gpt-4o, gpt-4o-mini 等)Anthropic (claude-3.5-sonnet, claude-4-opus 等)Gemini (gemini-2.5-pro, gemini-1.5-pro 等)xAI (grok-3-mini)Deepseek (reasoner R1, chat V3)Qwen (Qwen3)

安装方法：

代码语言：javascript代码运行次数：0

运行

复制

git clone https://github.com/lmgame-org/GamingAgent.gitcd GamingAgentconda create -n lmgame python==3.10 -yconda activate lmgamepip install -e .登录后复制

在credentials.sh 中设置 API keys:

代码语言：javascript代码运行次数：0

运行

复制

export OPENAI_API_KEY={YOUR_OPENAI_API_KEY}export ANTHROPIC_API_KEY={YOUR_ANTHROPIC_API_KEY}export GEMINI_API_KEY={YOUR_GEMINI_API_KEY}export XAI_API_KEY={YOUR_XAI_API_KEY}export DEEPSEEK_API_KEY={YOUR_DEEPSEEK_API_KEY}登录后复制

省事点可以在线体验（需要网络畅通）

图片

在线体验：https://huggingface.co/spaces/lmgame/lmgame_bench

可以玩的游戏有推箱子、2048、俄罗斯方块、超级马里奥等

图片

deepseek-r1 在糖果粉碎传奇上表现不错，在 2048 和 俄罗斯方块上表现中等，在推箱子和逆转裁判上表现较弱

图片

总体看，最强的还是 o3/o4 mini、Gemini 2.5 Pro、Claude 3.7

更多细节，大家可以看下这篇论文：https://arxiv.org/pdf/2505.15146

图片

这篇论文我大致看了一下，其中有一些提示词蛮有意思的

比如：如何用纯文字指导大模型玩游戏？

比如：推箱子

图片

代码语言：javascript代码运行次数：0

运行

复制

提示：你正在解决推箱子谜题。你是玩家，需要将所有箱子推到目标位置。当你紧挨着箱子时，你可以通过向相同方向移动来推动它。你不能将箱子推过墙壁，也不能拉动箱子。答案应该是一个动作序列，例如 <answer>向右 || 向右 || 向上</answer>。状态中每个符号的含义是：#: 墙壁，_: 空地，O: 目标，√: 箱子在目标上，X: 箱子，P: 玩家，S: 玩家在目标上你的可用动作是：上，下，左，右你最多可以执行 10 个动作，动作之间用“ || ”分隔。回合 1:状态：#############O#####XP####__#########你还剩 10 次动作机会。始终输出：<div class=”think“>[你的思考过程]</div><answer> [你的答案] </answer>，不要带有多余的文本。严格遵守此格式。最大响应长度：100 词（标记）。下一回合的提示：奖励：-0.1回合 2:状态：{当前状态}你还剩 9 次动作机会。始终输出：<div class=”think“>[你的思考过程]</div><answer> [你的答案] </answer>，不要带有多余的文本。严格遵守此格式。最大响应长度：100 词（标记）。登录后复制