颠覆！NVIDIA发明新技术KVTC：内存使用量缩减20倍

3月22日消息，

这一突破有望解决大型语言模型长对话推理时的内存不够用问题，

简单来说，

NVIDIA资深深度学习工程师Adrian Lancucki表示：“大型语言模型进行推论时，性能瓶颈往往不在运算能力，而在GPU内存。”那些暂时不用的KV缓存，会一直占用宝贵的GPU资源，逼得系统只能把它们转移到CPU内存或硬盘里，这样不仅会增加数据传输的负担，还可能出现新的卡顿问题，这些额外成本最终也会体现在企业的使用费用中。

和现有压缩技术相比，KVTC没有那些明显的局限，它借鉴了我们熟悉的JPEG图片压缩思路，通过“主成分分析、自适应量化、熵编码”三个简单步骤，就能实现高效压缩。

更方便的是，这项技术不用改动模型的核心设置和代码，属于“非侵入式”设计，企业拿来就能快速部署。它的核心优势是，能抓住KV缓存“数据高度相关”的特点，在保留关键信息的同时，去掉冗余数据，而且解压时可以分块、逐层进行，不会影响模型实时回应。

多轮测试显示，

另外，

需要注意的是，KVTC更适合长对话、多轮互动场景，比如编程助手、迭代式代理推理等，若对话较短，很难发挥其压缩价值。

目前，NVIDIA正计划将这项技术整合进Dynamo框架的KV块管理器，使其能与vLLM等主流开源推论引擎兼容。

业内人士认为，随着大型语言模型可处理的对话长度不断增加，KVTC这类标准化压缩技术，未来可能会像视频压缩一样普及，助力AI更广泛地落地应用。