我为自己创建了一个交互式数字化身——你可以和它交谈

当视频生成初创公司 Synthesia 的企业事务主管 Alexandru Voica 今年夏天向我发送了他们公关团队最新成员的链接时，我感到很惊讶。这是他的一个交互式虚拟化身，经过训练可以回答有关 Synthesia 的常见媒体问题，比如它的用途和工作原理。前一天，我参加了一个小组讨论，公关人员问我是否介意使用人工智能生成的文本进行推介。但 Alexandru 的化身远不止于此——在我看来，这似乎是在公关中使用人工智能的最终老板。九月，Synthesia 邀请我参观其位于纽约的新办公空间。 Synthesia 最初总部位于英国，是一家热门的数字化身初创公司，与 D-ID、HeyGen 和 Colossyan 等其他初创公司齐名。今年早些时候，该公司的估值达到 40 亿美元，并表示去年其 ARR 已突破 1 亿美元。 Synthesia 允许企业使用 AI 化身制作交互式培训视频，最近还推出了一款名为 Roleplay Sessions 的产品，让员工可以使用交互式 AI 化身进行销售推销等练习，该化身会做出回应并对其回答进行评分。当我去新办公室开业时，他们问我是否想要自己的人工智能头像，我毫不犹豫地答应了。我当然想要自己的数字孪生。那天我的衣服很可爱，头发也很整齐。在我遇到我的数字孪生之前，我一直对化身漠不关心，但我觉得它们将不可避免地成为日常网络生活的一部分。我听说 Instagram 上的人们按照自己的喜好创建了它们，以帮助他们制作社交内容。我发现这一切都非常有趣，这也许就是为什么我现在毫无疑虑地向你们展示我的数字孪生。这是 Synethsia 第一次为记者（或 Voica 之外的任何人）制作数字化身。它是根据我的故事进行训练的，该故事讲述了为什么风险投资支持的初创公司比非风险投资支持的初创公司犯下更多欺诈行为，并且只会回答有关该故事的问题。下面，只需按“在新窗口中启动”即可开始。你可以问它这样的问题：我为什么决定写这个故事？研究论文是关于什么的？研究人员发现了什么？为了做到这一点，我进入了 Synthesia 办公室内的一个迷你电影工作室，他们在那里给我拍了很多照片，并录制了一段两分钟的我的声音。我必须同意这些化身的制作，然后，数字 Dom 就诞生了。他们为我创建了一个个人化身（一个只阅读我提供的任何脚本的化身）——戴眼镜和不戴眼镜——他们还为我制作了两个交互式化身（可以顶嘴和听我说话），也包括戴眼镜和不戴眼镜。我们选择了一篇文章来训练交互式头像，然后其中一个团队构建了我的交互式头像，它由语音到文本、视频、语言和文本到语音模型的组合提供支持。我的化身的技术堆栈包括 Synthesia 自己的视频和语音模型，尽管该公司还允许客户从其他实验室（如 Cartesia、ElevenLabs、Google 或 OpenAI）中选择替代方案。企业还可以选择将他们的化身托管在他们想要的任何云上，或者付费 Synthesia 来托管它们。语音到文本模型将人们所说的内容转换为文本，代理语言模型理解文本并可以根据文本采取行动，文本到语音模型将响应转换为音频，最后视频模型（由 Synthesia 构建）在虚拟人物说话时为其设置动画。总的来说，Synthesia 构建了三种类型的产品：一个带有经典头像的视频创作和分发平台，有人输入脚本，头像就会重复它；一个名为 Sessions 的代理平台，人们可以在调查或角色扮演中与化身互动；还有一个 API 平台，人们可以在其中采用 Synthesia 视频和语音模型，并将其与其他技术服务相结合，以构建交互式头像或其他类型的产品。 Synthesia 团队花了几天时间来制作我的头像。我首先玩了个人的，然后输入了一个相当通用的脚本来看看我的人工智能声音听起来如何。我让它谈论纽约的秋天是如何到来的，这是一年中我最喜欢的时间。声音相当准确，我很高兴它没有出现我录制音频样本时出现的任何嘶哑声。我把它展示给一些不懂技术的朋友，他们觉得它既有趣又令人毛骨悚然。然后我向他们展示了我的交互式产品，它是确定性的，这意味着它只会说出它被训练来响应的内容。在这个案例中，这就是我的风险欺诈故事。我问了它一些问题，比如在 TechCrunch 之前我在哪里以及我住在纽约的哪个部分，但每次它都会引导我回到故事中。我的朋友们认为这个声音听起来不太像我，并且认为相似度不如个人头像，但尽管如此，它仍然足够接近，有点令人毛骨悚然。我妈妈称其为“太棒了”，这是她相当高的评价。她和我的父亲一直试图向它询问有关我的“只有他们才知道”的问题，但模型没有回答，每次都将他们重定向到该项目