开发者生态
morning
OpenAI 仍然存在 WebRTC 问题
摘要
October 27, 2026 · kixelated OpenAI still has a WebRTC Problem On a previous episode, I flamed OpenAI for using WebRTC and it went viral on Hacker News . thx A huge shoutout to Sean DuBois and Justin ...
WebRTC
France
for
and
You
you
capital
What
your
audio
2026-11-19
1 阅读
约6分钟阅读
surprisetalk
字号:
2026 年 10 月 27 日 · kixelated OpenAI 仍然存在 WebRTC 问题 在上一集中,我因使用 WebRTC 而抨击了 OpenAI,这件事在 Hacker News 上疯传。感谢 Sean DuBois 和 Justin Uberti(OpenAI 的 WebRTC 专家)在我精神错乱的咆哮之后伸出援手。你本可以说@kixelated 你很蠢,但你没有。唉,我神圣的针对 WebRTC 的圣战还没有结束。 deus vult Hot Take Alert 假设您是前沿实验室的一名氛围编码员,致力于语音人工智能产品的开发。假设您正在赚(并烧掉)大量现金。假设您的一位用户大声喊道:法国首都是什么?如果你的人工智能回复:对不起,你们分手了,你能再说一遍吗?你完蛋了。您选择 WebRTC 来实现语音 AI。潜伏在你之下的危险启动你最喜欢的应用程序:ChatGPT™。你点击麦克风并咕哝:法国的首都是什么?哦不,假设突然丢包。一只海怪正在啃咬一些水下电缆。恐怕这太常见了。 WebRTC 专为电话会议而设计,即真人真人语音。它非常激进,会丢弃任何延迟的音频数据包以保持延迟实时。就像莱昂纳多·迪卡普里奥一样,任何超过 30 毫秒的内容都太老了。 WebRTC放弃晚期音频NET 法国首都是什么?法国的首都是什么?法国的首都是什么?法国的首都是什么? “法国是西欧的一个国家。” ▶ 口头/理解 收到,尚未理解 永远丢失 什么是 le France?对于语音人工智能产品来说,这实在是太糟糕了。您走出 WiFi 范围、进入蜂窝盲区或 Starlink 终端切换卫星。糟糕,你的代币被浪费了,或者更糟糕的是,人工智能试图猜测你说的话。 WebRTC通常可以检测数据包丢失并重传。但默认情况下禁用音频重传。即使启用,音频抖动缓冲区也不会等待它们。但为什么不呢?这不是网络101吗?就再发那个狗屎吗?这是因为我们。你的速度我们肉袋“实时”消费/产生音频,也称为人类时钟速率。我们的神经元只能如此快速地放电。对于像 Google Meet 这样的实时会议产品,延迟需要接近于零。任何延迟都是超级烦人的,这就是为什么 WebRTC 竭尽全力将其最小化。阻塞重传会导致延迟。这是 TCP 的致命缺陷,也是 WebRTC 首先基于 UDP 的原因。更糟糕的是,重传会导致恢复时音频快速突发。这是很糟糕的用户体验。人类不想等待,然后以 10 倍速处理突发音频。相反,WebRTC 主要*依赖于人工重传。你:法国是什么?我:🔇 你:我说法国的首都是什么? * 在 WebRTC 战士在 LinkedIn 上攻击我之前,请阅读修复它修复它修复它部分。我们注定平庸吗?钟表那个焊工 当然不是。老哥醒醒吧,现在已经不是2020年了。互联网不再适合我们松弛的嘴唇。我们的机器人霸主根据硅时钟频率产生/消耗音频。我们将电力注入岩石中,现在它可以在几分钟内阅读图书馆的内容。活着是多么美好的时光啊。语音代理可以比实时更快地听到和说出音频。以 20 倍的速度收听?没问题。以 20 倍的速度说话?没问题。人类陷入了实时困境。我们说话太慢,所以语音到文本必须等待我们。我们听得太慢了,所以文字转语音必须等待我们。 WebRTC 是为人类设计的,而不是为语音 AI 代理设计的。这些可怜的机器人因我们的平庸而受到阻碍。我需要上下文 当谈到法学硕士时,延迟预算变得很奇怪。通常,您会将延迟视为咕噜穿过锡罐所需的时间。然而,法学硕士在上下文方面受到阻碍。我需要上下文 这是一个随时间增长的愚蠢示例: 1s :什么 2s :什么是 3s :什么是 le 4s :什么是 le Capital 5s :什么是 6s 的 le Capital :什么是法国的 le Capital ?如果法学硕士在了解完整背景之前试图回答我的提示,那就太糟糕了。法国是看门人,而它之前的一切实际上都是先决条件。在此示例中,重要的是最后一个数据包的延迟。那些被海怪攻击的可怜的数据包? WebRTC 实际上有几秒钟的时间重新传输,没有延迟损失。人工智能代理可以比实时更快地处理,从而在最终用户(又名您)注意到的情况下赶上。这就是 MoQ 先生所做的。没有留下任何数据包:我们不断重传,直到人工智能真正需要音频。最小起订量转发最多 5 秒 NET 什么是法国首都?法国的首都是什么?法国的首都是什么?法国的首都是什么? “巴黎。” ▶ 口头/理解收到,尚未理解等待重传被塞满 kraken 先生它也不贵:音频很小。 1 秒的 Opus @ 64Kbps 为 8KB,最初以 50 个微小数据包的形式发送,但可以以约 6 个 QUIC 数据包的形式重新传输。我们有几秒钟的时间来重传
这篇文章对您有帮助吗?
订阅66必读
每日精选科技资讯,直达你的邮箱