实测：三款垃圾CPU推理Llama3 8B

关于本地运行大模型的配置问题，其实不必谈虎色变。一些常用大模型对硬件的需求，远没有想象中那么高。别急着被那些复杂的技术术语劝退，真正需要做的，不过是动手试试。

“不试，怎么知道呢？”这话放在AI推理场景里，再贴切不过。今天直接用三款不同年代的CPU，做了一组纯CPU本地推理Llama 3的实测。结果可能让不少人意外：即便是一些已经“退出历史舞台”的老硬件，在大模型推理这件事上，依然有发挥空间。

先来认识一下三位参赛选手：

一号选手，一台十年的Sony笔记本，搭载i5 3337U低电压处理器。当年这类超极本的标准配置，以低功耗、长续航著称，性能和发热自然不是强项。这台机器当年售价过万，如今在二手市场已经难寻踪迹。正是想测试一下，这么老的平台，到底还能不能扛得起大模型。

二号选手，办公室的标准配置——i5 10400。虽然不新，但和最新一代的i3 12100比起来，性能已经被明显压制。如果放在个人装机市场，价格更亲民的12100反而是更好的选择，综合性能轻松反超它。

三号选手，洋垃圾E5-2686。虽然被戏称为“垃圾”，但论体格和核心数，它跟前两位完全不是一个量级。特别是面对大模型推理这种需要多核心并行计算的任务，它有着天然的优势。

直接上数据，看看它们各自的表现：

耗时3分5秒，输出了170个字（图上统计为181，是因为把提问也计入了）。大概每秒输出一个字。

跑是跑起来了，但步子确实迈得极小。十年前的低压CPU，意料之中的表现。

用时1分38秒，输出210个字。这个速度依然只能说凑合。如果跑个2B或3B的小模型，实用性会稍微好一些。当然，换一块i3 12100，速度肯定会快不少，而且价格才多少钱？拿捏Llama 3 8B轻轻松松。

18核36线程的配置没有白费力气——34秒输出215个字，完全满足本地使用的需求。再结合它的价格，确实没什么可挑剔的。

今天就到这里，See you~~