PSSA：用 Rust 从头开始编写的非 Transformer 语言模型

摘要

【HN用户评论摘要】 How would it compare to current state of the art tested state space layers like Kimi Delta Attention? OP, you should not have written this in Rust. It should be in PyTorch, which is by far ...

the this can and just state should Rust which tell

2026-09-30 1 阅读约1分钟阅读 sparticle62

【HN用户评论摘要】它与当前最先进的经过测试的状态空间层（例如 Kimi Delta Attention）相比如何？ OP，你不应该用 Rust 写这个。它应该在 PyTorch 中，这是迄今为止最受欢迎的。我们无法判断这个架构是否良好，或者您的实现是否存在问题。您可以使用 Google Colab 在 GPU 上免费测试整个架构。在更大的数据集上测试变压器和新架构。每次运行都会使 GPU 最大化一个小时。此外，自述文件提到保持相同的优化器计划，乍一听起来不错，但它们是比较的 Homie 在月底刚刚销毁了一些代币，而“in Rust”纯粹是 HN 的标题诱饵。这不就是 RNN 并且几乎没有什么新东西吗？你可以知道这个想法本身是什么时候产生的原始链接：https://github.com/Sarticle62ops/pssa

订阅66必读