#Cache

智能AI None

北大联合阶跃星辰提出TensorCast：统一可编程管理大模型张量，推理「首字延迟」最高降低93.2%

过去几年，大模型推理系统优化的核心目标一直围绕一个问题展开：如何让 GPU 更高效地计算权重、激活、KV Cache 等高维张量？从并行策略、请求调度、显存管理到算子优化，学界业界大量优化技术不断提升模型推理效率。 然而，随着模型规模持续增

Cache TensorCast Agent

2026-08-17 机器之心

智能AI None

英伟达HBM告急！下一代GPU受限，这块硬盘却抢走风头

新智元报道 当加密、压缩、索引、记忆和上下文服务靠近介质，SSD、DRAM、HBM与HBF的价值边界将被重新划分 AI Agent正在把计算机从「接到问题后完成一次模型调用」，变成持续观察、推理、调用工具、修改环境并保留状态的运行系统。 一

Cache Agent 新智元报道

2026-08-11 新智元

智能AI None

一次吃下一本书！百度开源新OCR，作者疑似前DeepSeek研究员

百度开源新OCR，作者疑似前DeepSeek研究员 林樾 2026-06-28 14:04:17 来源： 量子位 henry 发自 凹非寺 量子位 | 公众号 QbitAI 国产开源OCR又刷新SOTA。刚刚，百度开源了全新的OCR新模型—

OCR Token Unlimited

2026-06-28 林樾

数码硬件 None

Linux 缓存感知调度经过扩展以获得更好的性能：在 MySQL 中高达 360%

Cache Aware Scheduling is one of the most exciting kernel innovations to land in Linux this year。While it was finally me

Cache Aware Scheduling

2026-06-25 Michael Larabel

开发者生态 None

Omni Cache：以内存为中心的KV管理与推理加速｜AICon上海

过去一年，“Agent”这个词从实验室走进了生产环境。工程师们开始真正面对一个新的问题：不是“AI 能不能做到”，而是“我们能不能把它跑稳、跑对、跑出规模”。研发团队的工作方式又该如何重构。这些，正是 AICon 2026 上海站试图回答的

HBM Omni Cache

2026-06-11 AICon 全球人工智能开发与应用大会

智能AI None

超越TurboQuant！OSCAR：面向真实服务的2-bit KV Cache量化

作者 | Zhongzhu Zhou, Donglin Zhuang, Jisen Li, Ziyan Chen, Shuaiwen Leon Song, Ben Athiwaratkun, Xiaoxia Wu 从 KV Cache 瓶颈

OSCAR attention bit

2026-05-29 Zhongzhu Zhou等

开发者生态 None

升腾管推理、鲲鹏管Agent，Agent AI让CPU重回舞台中央

DeepSeek-V4模型首发适配昇腾芯片，被视为中国AI生态发展的一个重要节点。通过芯模协同，DeepSeek与昇腾实现了昇腾超节点全系列产品对DeepSeek-V4系列模型的支持。这意味着，中国大模型产业正在从过去高度依赖海外GPU与C

SIMT Cache SIMD

2026-05-28 褚杏娟

开发者生态 None

小红书AI 工程架构师郝栩彬确认出席AICon上海站，分享Self-GC：一种结合前缀缓存约束的多轮 Agent 上下文治理方案

当前，以 Agent 为核心的新一轮技术浪潮正在席卷产业。那么，世界模型的下一个突破在哪。Agent 从 Demo 到工程化还差什么。研发体系不重构，还能撑多久。6月26日-6月27日， AICon全球人工智能开发与应用大会 "将在上海举办

Agent Self commit

2026-05-28 AICon 全球人工智能开发与应用大会

数码硬件 None

缓存感知调度显示 AMD Zen 5 在 PostgreSQL、Valkey、网络性能方面取得了不错的成绩

The long-in-development work on Cache Aware Scheduling looks like it will come to a head soon with it looking like Cache

Cache Aware Scheduling

2026-05-27 Michael Larabel

开发者生态 None

小米MiMo-v2.5降价99%——AI定价战

【HN用户评论摘要】 Other thread (with many more comments): https://news。ycombinator。id=48282814 This is because the users are tr

the https com

2026-05-27 mariopt

数码硬件 None

AMD再造游戏神U：锐龙7 7700X3D实锤！CPU-Z已添加支持

快科技5月26日消息， CPUID发布CPU-Z 2。1更新，唯一新增支持的处理器为AMD锐龙7 7700X3D。AMD尚未正式公布该SKU，但CPU-Z的直接列入几乎等同于官宣，Computex发布在即的猜测也随之升温。

锐龙 CPU AMD

2026-05-26 黑白

开发者生态 None

Show HN：KVBoost – HuggingFace 的块级 KV 缓存重用，TTFT 速度提高 5-48 倍

pip install kvboost KVBoost Faster LLM Inference。No Model Changes。

Turn VRAM cache

2026-05-22 pythongiant

数码硬件 None

非常令人兴奋的缓存感知调度看起来将登陆 Linux 7.2

As a very exciting development ahead of the Linux 7。2 kernel merge window opening in about one month's time, it looks li

the Linux Cache

2026-05-20 Michael Larabel

开发者生态 None

百度想明白了：旧供给到达极限了

今天大部分企业看待 Token 经济的心情十分复杂——一方面，Token 的价格已经打到了地板；另一方面，Agent 燃烧积分 /Token ，生产账单的速度仍然很快。尤其是当这些企业把 AI 从"偶尔试用"转向"业务系统集成"时，ROI

Agent Cache Token

2026-05-15 王一鹏

数码硬件 None

英特尔的缓存感知调度技术距离合并到 Linux 又近了一步

I have been writing about the Cache Aware Scheduling work led by Intel engineers on the Linux kernel for more than a yea

the Cache Aware

2026-05-14 Michael Larabel

智能AI None

英伟达MIT出手！华人团队重磅开源，大模型推理内存暴降10倍

新智元报道 编辑：元宇 【新智元导读】 一张普通的24G家用显卡，竟然能让一个32B的超大模型一口气读完6份长文档、自动写出周报。英伟达、MIT、浙大华人研究者联合出新招，让内存消耗直接暴降10倍，不降智也不爆显存，彻底击穿硬件天花板。一张

TriAttention cache agent

2026-05-14 新智元

智能AI None

AMD 为游戏玩家提供的最佳 CPU 技术也将登陆工作站

For the first time, AMD is including its 3D V-Cache tech in its commercial workstation processors with a refreshed line

the AMD its

2026-05-13 Stevie Bonifield

智能AI None

LKV：Head-wise 预算的端到端学习和 LLM KV 缓存驱逐的令牌选择

06676v1 Announce Type: new Abstract: Long-context inference in Large Language Models (LLMs) is bottlenecked by the linea

LKV the compression

2026-05-11 Enshuai Zhou, Yifan Hao, Chao Wang, Rui Zhang, Di Huang, Jiaming Guo, Xing Hu, Zidong Du, Qi Guo, Yunji Chen