Kog 正在更深入地利用 GPU 进行更多推理

更快的人工智能推理竞赛已经开始，Cerebras 及其专用芯片在 5 月份首次公开募股 (IPO) 中受到了市场的热烈欢迎。但法国初创公司 Kog 押注传统 GPU 可以发挥更多的能力。这家初创公司在 5 月份登上了《黑客新闻》的头版，其技术预览旨在证明“在企业已经拥有的标准数据中心 GPU 上可以实现极快的单请求解码”——例如用于演示的 AMD MI300X 和 Nvidia H200 GPU。有些人听说这没有扩展到我们笔记本电脑中的 GPU 感到失望，但其他人看到了潜力。由于推理速度和成本现在成为关键瓶颈，Kog 通过软件优化在现有硬件上解锁新功能的承诺吸引了更多的人。 “我们有 200 个有形的业务线索，”首席执行官 Gaël Delalleau 告诉 TechCrunch。根据早期反馈，这位独立创始人预计软件工程将成为第一个用例。经验丰富的 Claude Code 用户很清楚，他们有时需要等待几个小时才能得到结果。 Anthropic 本身也明白速度是有价值的，因此对 Claude 的快速模式收取了高价倍数的费用。 Kog 希望瞄准因这些延迟而推迟的客户，通常是因为他们依赖人工智能工作流程来完成专业任务。 Delalleau 表示，但这家初创公司也有设计合作伙伴，可以让用户在提示下生成游戏和应用程序，对于他们来说，借助 Kog 推理引擎 (KIE) 更快获得结果将意味着更多收入。该公司意识到这个市场还不太成熟。在观察需求时，Kog 了解到其潜在客户不准备对小型模型进行微调。 “这就是为什么自推出以来，我们一直全力专注于加速更大型号的开发，以满足我们所看到的需求。”这使得 Kog 在兑现其“LLM 推理速度提高 30 倍”的承诺方面取得了巨大的飞跃。其演示显示每秒每个请求 3,000 个令牌 (TPS) 令人印象深刻，但采用的是专门构建的小型模型，只有约 20 亿个参数，即现已开源的 Laneformer 2B。与怀疑论者相反，德拉洛相信同样的方法也适用于法学硕士，因为法学硕士的规模对推理芯片来说是一个挑战。 “GPU 有着光明的未来，”他说。对于 Kog 的首席执行官来说，“它们不适合解码”的想法已经成为一种误解。较新的 GPU 拥有越来越多的内存带宽，需要解锁。 Kog 并不是唯一一个认为软件优化可以帮助 GPU 做的事比包装盒上所说的更多的人。同样来自法国的 ZML 发布了与硬件无关的软件，该软件绕过 Nvidia 的 CUDA，支持跨竞争芯片的快速推理。但 Delalleau 表示，Kog 更类似于斯坦福大学 Hazy Research 实验室，更深入地关注 GPU 加速。 Delalleau 本人并不是一名研究员，他的第一家初创公司 TechCrunch50 2009 年校友 Stribe 与他的新公司没有任何关系，除了他的前联合创始人转型为 VC Kamel Zeroual，他的公司 Varsity VC 共同领导了 Kog 的种子轮融资。但这家初创公司的深层次关注源于他独特的背景。在法国综合理工学院学习固态物理学后，他继续从事进攻性网络安全工作——也称为白帽黑客攻击。德拉洛表示，这塑造了他现在鼓励他的团队采用的心态。在科学方面，“我们需要理解物理定律和 GPU 定律，以便充分利用它们。”至于黑客攻击，这位 DEFCON CTF 锦标赛的四次决赛入围者表示，这教会了他“在非常低的水平上对事物进行逆向工程——直到汇编语言和二进制代码——以理解它是如何工作的，并尝试用它来实现它不一定是设计的目标。”这种方法的缺点是需要手动操作并且非常耗时。 “对于每一个新的 GPU，我们都会花几周甚至几个月的时间来真正深入研究细节并对该硬件进行 GPU 工程研究。” Kog 的团队由 11 人组成，这限制了 Kog 可以使用的芯片数量，至少在可预见的未来是这样。从长远来看，Kog 希望将其方法引入基于代理的管道中，使其支持更多芯片和模型。随着欧洲寻求在这两个方面建立自己的能力，这可能会为这家初创公司增加主权顺风，该初创公司已经得到了 Scaleway 的支持，并得到了法国 Bpifrance 和 French Tech 2030 计划的支持。但目前，Kog 需要向世界证明其方法适用于法学硕士。这也将是获得更多资金的关键。 “一旦我们以 10 倍速实现了第一个主要模型（我认为这将在 9 月份），我们将能够开始展示客户吸引力，并从那里提高我们的 A 轮融资，”Delalleau 说。