清华团队开源大模型推理引擎“赤兔Chitu”：硬件成本削减50%

3月14日消息，据报道，清华大学高性能计算研究所翟季冬教授团队与清华系科创企业清程极智联合宣布，开源大模型推理引擎“赤兔Chitu”。这一突破性技术为国产AI芯片的广泛应用和生态建设带来了新的机遇。

“赤兔Chitu”首次实现在非英伟达Hopper架构GPU及各类国产芯片上原生运行FP8精度模型，解决了FP8精度模型对英伟达Hopper架构（如H100/H200）的硬件依赖。

在A800集群的测试中，赤兔引擎在GPU使用量减少50%的情况下，推理速度提升了3.15倍，显著降低了企业的硬件成本，同时提高了性能输出。

赤兔引擎的智能优化技术能够快速适配不同芯片架构，使国产厂商无需重复开发软件，专注于硬件升级。目前，清程极智已与沐曦、燧原等厂商合作，推出“开箱即用”的推理一体机，广泛应用于金融、医疗等行业。

清程极智CEO汤雄超表示，当前国内在推理引擎这一核心环节仍缺乏生产级开源产品。开源“赤兔”引擎是推动国内AI生态建设的重要一步，将为行业提供更高效、更灵活的技术支持。