#Cache
共找到 24 篇相关文章
智能AI
None
英伟达MIT出手!华人团队重磅开源,大模型推理内存暴降10倍
新智元报道 编辑:元宇 【新智元导读】 一张普通的24G家用显卡,竟然能让一个32B的超大模型一口气读完6份长文档、自动写出周报。英伟达、MIT、浙大华人研究者联合出新招,让内存消耗直接暴降10倍,不降智也不爆显存,彻底击穿硬件天花板。一张
2026-05-14
新智元
智能AI
None
LKV:Head-wise 预算的端到端学习和 LLM KV 缓存驱逐的令牌选择
06676v1 Announce Type: new Abstract: Long-context inference in Large Language Models (LLMs) is bottlenecked by the linea
2026-05-11
Enshuai Zhou, Yifan Hao, Chao Wang, Rui Zhang, Di Huang, Jiaming Guo, Xing Hu, Zidong Du, Qi Guo, Yunji Chen