Llama 3 的发布，真可谓一石激起千层浪

速度飞快、能力强悍，而且完全免费——面对这样的选择，还有什么好犹豫的？

Llama 3 的发布，可谓一石激起千层浪。就在前几天，还有不少人坚信“闭源模型能力普遍碾压开源模型”。但最新的 LLM 排行榜（https://chat.lmsys.org/?leaderboard）已经让新的趋势变化一目了然。

Llama 3 70B 的能力，已能和 Claude 3 Sonnet、Gemini 1.5 Pro 并驾齐驱，甚至超过了去年发布的两款 GPT-4。

更有意思的是价格。无论是 8B 还是 70B 的 Llama 3，你都可以在本地部署。后者可能需要使用量化版本并依赖一定显存，但对很多人来说，这已经足够幸福——以前想在本地跑个 GPT-4 级别的模型，简直是天方夜谭。

如果只看模型能力，Llama 3 70B 目前还只能排在第六位；但把价格放进来对比，恐怖之处就凸显了。

同样是 1M token 输入 + 1M token 输出，前五名里最便宜的 GPT-4 Turbo 也要 30 美元，而 Llama 3 70B 的成本连 1 美元都不到。

那么，Llama 3 70B 到底好不好用？果断测试一番。

目前能体验 Llama 3 70B 对话的渠道很多，包括 Meta 官方的 meta.ai、Huggingface 的 Huggingchat、Perplexity Lab 以及 GroqChat。以 Huggingchat 为例，让它编写一个 Pong 游戏，代码生成速度极快。

之后，将代码直接粘贴到 Visual Studio Code，运行——毫无报错，顺利启动。

左手 W、S 键，右手上下键，左右互搏，玩得不亦乐乎。

灵光一闪：Llama 3 70B 的编程能力这么好，为什么不用它结合 Open Interpreter 做数据分析呢？

调用 API 的问题也不难解决——Openrouter 几乎第一时间就加入了 Llama 3 70B 和 8B 两个 Instruct 模型，定价非常便宜。

运行起来，只需把原先调用 Haiku 时的命令：

interpreter --model openrouter/anthropic/claude-3-haiku -y --context_window 200000 --max_tokens 8196 --max_output 8196

替换成：

interpreter --model openrouter/meta-llama/llama-3-70b-instruct -y --context_window 200000 --max_tokens 8196 --max_output 8196

所以你看，Openrouter 真是个大语言模型的自选超市，用起来很方便。

可惜，实际运行效果并不理想。Llama 3 70B 总在代码开头多加反引号，然后一直挣扎在运行代码的循环里，最后干脆退出。

有点失望，但阴差阳错想到，不如试试 Llama 3 8B。

interpreter --model openrouter/meta-llama/llama-3-8b-instruct -y --context_window 200000 --max_tokens 8196 --max_output 8196

结果呢？一开始同样有反引号问题，但只需在提示词里告诉它“不要加”，它便乖乖解决，顺利运行成功！

这是 Open Interpreter + Llama 3 8B 根据提示绘制的特斯拉和苹果公司年初至今的股价变动图。

结论：8B 这个小模型反而没有 Llama 3 70B 那么“拧”。

不过心有不甘，毕竟还是更青睐能力更强的 Llama 3 70B。好在转机很快来临——出现在 Groq 上。

如果说其他 AI 大模型团队在拼准确率、上下文长度，那么 Groq 走的完全是另一条路：专注于服务，把其他家做出来的模型变得更快。

看它的模型列表：

没有一个模型是它原创，但它就是能把推理速度提升到令人难以置信的程度。在 Groq 里用流式输出几乎没什么意义，因为你能体验到“唰啦”一下结果就输出完毕。

更有意思的是，它提供了 Free Beta 模式，目前使用上面的模型，包括最强的 Llama 3 70B，都是免费的。

下面试试用它结合 Open Interpreter 进行数据分析：

interpreter --model groq/llama3-70b-8192 -y --context_window 200000 --max_tokens 8192 --max_output 8192

完整的运行过程已录制，完全没有剪辑或加速。

<iframe allowfullscreen="" frameborder="0" src="https://mp.weixin.qq.com/mp/readtemplate?t=pages/video_player_tmpl&action=mpvideo&auto=0&vid=wxv_3422809575609810947"></iframe>

没错，就是这么行云流水——从计划到编程直到输出，全部快速搞定。

这是生成并保存在本地的结果图。

也试了词云生成，同样飞快。用这个开源模型配合 Groq 的快速推理机制，完全可以免费将之前那 9 大数据分析与可视化样例重做一遍，对比一下 Llama 3 70B 比 Claude 3 Haiku 进步了多少。

另外，现在包含了 Llama 3 70B 的 Groq 应用已在 iOS 的 Test Flight 中提供，感兴趣不妨去尝试。

AI 辅助数据分析，又添了一员猛将。