GitHub 热门项目：ANE

GitHub 项目：ANE 仓库地址：https://github.com/maderix/ANE 星级：7237 | 作者：马德里克斯 项目描述：通过逆向工程私有 API 在 Apple Neural Engine 上训练神经网络 =================================================== 自述文件内容： # ANE 训练 — Apple 神经引擎上的反向传播 通过逆向工程私有 API 直接在 Apple 神经引擎 (ANE) 上训练神经网络。没有 CoreML 训练 API、没有 Metal、没有 GPU——纯 ANE 计算。 ## 项目范围和意图 我真诚地感谢这个项目所受到的所有关注——我从来没有想到一个周末的研究黑客会像这样爆炸。感谢所有在自己的硬件上加星标、分叉、运行基准测试并分享工作的人。这意味着很多。 也就是说，我想对这个项目是什么和不是什么设定明确的期望。 这是一个**研究项目**，而不是一个生产框架。 目标是证明**在 Apple 神经引擎（以及可能的其他 NPU）上进行训练是可能的**，并且障碍始终是软件支持，而不是硬件功能。 ANE 是一块功能非常强大的芯片，Apple 通过 CoreML 限制其仅用于推理。该项目使用逆向工程私有 API 绕过了该限制，以展示当您给硬件一个机会时可以实现什么。 ### 这个项目是什么 - 通过“_ANEClient”和“_ANECompiler”私有 API 进行 ANE 培训的概念证明 - 一组记录真实 ANE 性能特征（吞吐量、功耗、SRAM 行为）的基准 - 为任何在 CoreML 之外探索直接 ANE 访问的人提供参考 - 当我发现有趣的东西时我会更新研究代码 ### 这个项目不是什么 - 一个维护的框架或库 - CoreML、MLX、llama.cpp 或任何生产推理堆栈的替代品 - 在消费类硬件上训练大型模型的途径（尚未） ### 炒作 该项目的一些报道夸大了其影响。需要明确的是： - 培训有效，但利用率较低（峰值的 5-9%），仍然存在重大工程挑战 - 许多元素明智的操作仍然回落到CPU - 这**不会**取代当今小型研究模型以外的任何事物的 GPU 训练 诚实的结果（包括所有限制）记录在随附的文章中： - [第 1 部分：逆向工程](https://maderix.substack.com/p/inside-the-m4-apple-neural-engine) - [第 2 部分：基准测试](https://maderix.substack.com/p/inside-the-m4-apple-neural-engine-615) - [第 3 部分：训练](https://maderix.substack.com/p/inside-the-m4-apple-neural-engine-c8b) ### 关于维护 我不打算将其发展成为一个大型社区项目。我的重点是原创研究（用于边缘人工智能优化的编译器基础设施），而维护开源框架需要花费时间。 那是说： - 当我发现有趣的事情时，我会继续推送更新 - 欢迎错误修复和基准测试贡献（特别是在我不拥有的硬件上） - 功能请求可能会得不到解决——但请随意分叉 - PR会以相对较慢的速度合并，否则我会成为周围社区发展的瓶颈