开发者生态
morning
DeepX 声称在不到 5 W 的情况下推理多达 100B 个参数
摘要
【HN用户评论摘要】 Quirks from the article:1) The performance numbers are simulated2) The details say that the performance numbers require 2.7x the overall power, so around 13.5W. Power needed for all the mem...
the
for
not
and
like
The
performance
numbers
that
memory
2026-11-10
1 阅读
约1分钟阅读
giuliomagnifico
字号:
【HN用户评论摘要】
文章中的怪癖：1) 性能数据是模拟的2) 详细信息表明，性能数据需要 2.7 倍的总功率，因此约为 13.5W。所有内存所需的功率在数字中并不明确。3) 编译器也是模拟的，它是一个原型，所以它不是 Nvidia ISAAC4 等任何东西的直接替代品) 5W 似乎指的是 sub-4B 模型，所以不是 100B 参数的模型。
这提到了 10 到 30tps 的推理目标，我（尽管只是浏览了一下）没有找到任何有关摄取速度的信息。他们还提到第一代芯片用于视觉，尽管我怀疑它仅适用于特定情况而不是一般情况。总的来说，我喜欢这样的节能优化，希望它能被广泛采用。虽然内存中的计算听起来内存价格大幅上涨
>《大型大型语言模型》
想知道它会感觉如何，因为显示的细节对于边缘设备使用来说似乎有点慢
原始链接：https://www.eetimes.com/deepx-tapes-out-second-gen-chip-projects-6-7x-performance-gain-with-lpddr5x-pim/
这篇文章对您有帮助吗？
订阅66必读
每日精选科技资讯，直达你的邮箱