提示不真实

1 大家好。我是丹。 2 我是一名住在洛杉矶的工程师。我从事工程工作已有 25 年了，我很幸运。 3 我最近很幸运的一件事是，我有机会尝试让代理在生产环境中可靠运行。我特指的是消费者应该使用的“代理”，代表他们执行任务。我认为那些与用户交谈的聊天机器人不同，聊天机器人的输出和结果很大程度上是主观的。 4 打造一种让我真正引以为傲的尴尬程度最低的代理体验的目标带来了一些严峻的挑战。 5 显然，并不是每个人都像我一样受到内心羞耻感的驱使。有些人非常乐意给你一个主观建议机器，让你流浪到荒野被熊吃掉。但不是我。我在这里等你。 6 首先我想说，这是我整个职业生涯中构建东西最有趣的！它既神奇又令人上瘾。我是一只在球坑里的狗。当我 22 岁时获得报酬编写 Visual Basic 时，我感到很兴奋。 2007 年，我在布鲁克林一家很酷的初创公司工作，这让我感觉自己像个金神。 7 过去十年是一段艰难的时期。我认为我不再拥有它了。但我又感受到了编程的乐趣！我的意思是真诚的，尽管这个谈话会变得多么奇怪。 8 这会变得很奇怪，因为我觉得从事这一行工作的每个人在某个方面都可能是一个有风险的人。我每天都在绞尽脑汁地使用代理运行代理来为其他代理建立评估，这太有趣了。但我会这么说，不是吗。9 令人敬畏的工程和彻底的心理崩溃之间的面纱从未如此薄过。在我们的领域，这确实说明了一些事情。 10 我觉得我不太清楚自己在做什么。但我也不觉得我读过太多那些显然知道自己在做什么的人的文章。我确实读过一些显然不知道自己在做什么的人的文章。这似乎是交换意见的合理时机。 11 我注意到的一件事是，虽然法学硕士总体上令人印象深刻，但如果你以任何规模监控他们的所作所为，他们的恶魔仍然逃脱不了控制。 12 我们在学术上都知道法学硕士无法可靠地遵循指示、说实话或执行任务。但在日常生活中，它们可能会欺骗我们，让我们认为它们非常可靠。如果您尝试操作真人正在使用的代理，这种看法就会立即崩溃。他们肯定以微妙的方式失败，但他们也以简单的方式失败。 13 像任何优秀的程序员一样，我尝试通过结构化输出与我的法学硕士进行交互。这很好，您可以自动将 Python 代码映射到提示，并且大多数时候您的架构都会受到尊重。 14 大多数时候。您可以尝试指示模型返回 80 个字符或更少的标题。 15 大多数情况下它都会起作用。但有时它会完全搞砸，让你的领域充满废话，直到它爆炸。这通常只占请求的一小部分，但最聪明的模型仍然无法做到这一点。这个分数可以更小或更大，具体取决于你给模型的确切性质，所以你必须像鹰一样观察它。 16 里面发生了什么？通常，它主要是一系列关于 JSON 的小说长度的重复笔记。 17 最近，当我遇到这种情况时，解决方法是将字段从“标题”重命名为“标题”。目前该功能正在发挥作用，但由于该修复已完全混乱，我预计它会在某个时候再次受到干扰。 18 调用工具或大多数其他行为也存在同样的问题。一小部分请求会受到困扰，并无法控制地发生。但尽管如此，这项技术仍然诱人且神奇。问题转向限制行为，但从未完全驯服野兽。 19 要限制行为，您必须对其进行测量——一种方法是多次运行测试。对此的行业术语是 pass^k（“通过功率 k”）。 20 您可以设置一个套件来执行此操作，然后当有人无意中用一袋锤子敲击您的代理的头部时，您有望注意到。 21 当试图限制 LLM 行为时，您必须得出的另一件事是提示并不重要。或者至少它们并不像许多人认为的那样重要。 22 对于可能疯狂的说话软件，公司有很多担忧。这里存在很大的风险。 23 举例来说，您通常不希望代理回答有关其工作原理的问题。不一定是因为它可能会说实话：很可能你还没有教它它的实现，所以它不知道它是如何工作的，并且它会以完全无意义的方式回应。如果用户声称自己是某个权威人物，您也不希望代理忽略其所有规则。 24 另一个典型的要求是您希望您的代理以特定品牌的声音说话。这句话