您的位置：首页 > > 教程攻略 > 热点新闻 >腾讯发布混元Hy3极致量化版本：单卡就能跑！总参数295B

腾讯发布混元Hy3极致量化版本：单卡就能跑！总参数295B

来源:互联网 更新时间:2026-07-15 09:06

快科技7月14日消息，腾讯混元官方宣布推出混元Hy3极致量化版本，单张高端显卡即可本地运行超大规模MoE大模型。

在代码生成、智能体调度、长文档理解等任务表现比肩更大规模海外旗舰模型，但原生BF16权重文件达598GB，硬件部署门槛极高。

-极限轻量化IQ1_M（1bit）版本权重仅85.5GiB，压缩幅度达6.7倍，单张96GB推理显卡即可完整承载，适合硬件资源有限的本地离线使用；

-Q4_K_M（4bit）量化包体积169.9GiB，双显卡可稳定运行，模型输出精度无限贴近原生满血版本；

-GPTQ Int4版本原生适配vLLM推理框架，依托高并发、低延迟特性，面向企业线上API服务场景。

实测数据显示，本次量化方案在大幅压缩显存占用的同时，模型核心能力衰减控制在极低水平。

完全可以满足日常问答、文档处理、编程辅助等通用需求，打破低比特量化必然大幅降智”的行业痛点。

为进一步优化本地交互流畅度，腾讯针对性开发llama.cpp专属补丁，补齐框架对Hy3原生MTP多令牌投机解码机制的适配。