分析人工智能手册

​ 什么是分析人工智能？ 2022 年末，“ChatGPT 时刻”发生了。大众开始了解基础模型的一般威力，开发人员立即开始将它们合并到大量新产品中。与此同时，一种较少讨论的使用模式也出现了：数据、研究、运营和产品团队开始使用基础模型来处理非结构化数据并做出规模化的运营决策。简而言之：如果人工智能的工作是决定某事，而不是创造某事，那么它就是分析人工智能。 ​ 为什么分析人工智能很重要？虽然这种区别可能看起来很微妙，但用于分析目的的最佳实践通常与其他生成用例有所不同。这有几个主要原因： 任务通常是可衡量的。您可以使用专家注释创建真实数据集，并可验证其正确性。其他生成式人工智能输出无法直接测量，这就是为什么您需要构建评估（分析式人工智能的一种特殊情况）来测量它们。任务通常是具体的和有区别的，而不是一般性的和紧急的。您可以使用法学硕士的自回归推理和指令遵循能力来做出决策，但会减少“创造力”以支持一致性。因此，任务通常可以在已评估任务准确性的最小可能模型上运行，而不是达到最大、最智能的模型。由于分析人工智能通常不涉及与用户的事务，因此可以容忍更多的延迟 - 因此批处理和其他灵活的工作负载处理模型是可以接受的，通常可以极大地节省成本和总体处理时间。这类似于 OLTP 与 OLAP/map-reduce 风格的数据处理。属性 其他 GenAI 分析人工智能示例 编写文本/代码，生成图像/视频，与用户交谈 分类、提取、判断、规范化、匹配、评分 操作范式 许多不同的用户任务 一个任务，多次 交互模式 面向用户、事务型 通常内部数据处理和工作流程 模型需求 受成本限制的最大智能和规模 准确完成任务所需的最低智能和规模 服务和延迟 低延迟、实时/在线 高吞吐量、批量/离线确定性期望多样化的响应，紧急行为一致性，接近确定性的行为用户角色消费者，杂项。专业人士数据科学家/工程师、运维、评估、产品分析任务监督监督、交互式无监督模拟 OLTP 数据库、Web 应用程序 OLAP 数据库、数据管道​本指南适合谁？数据、机器学习和分析团队使用法学硕士将非结构化数据集转换为结构化数据人工智能工程师和产品经理构建评估并尝试提高其人工智能产品的可靠性运营团队希望通过可靠的人工智能决策模型扩展其领域专家的专业知识研究团队构建法官和其他可验证的奖励函数它也是为我们编写的——数据、基础设施和开发工具书呆子，他们热衷于扩大数据的可能性范围并提高开发人员的影响力。 ​ 为什么要编写本指南？ Sutro 构建支持分析人工智能的产品，我们认为这是一个早期但新兴的领域。我们的许多客户刚刚开始构建许多此类系统，特别是现在越来越多的人工智能产品上线并生成需要分析处理的非结构化数据。我们花费大量时间与客户深入交流，帮助他们构建、设计、改进并推理如何构建这些系统。它可以被认为是我们与客户一起学习时不断演变的常见问题解答。本指南的目标是为构建分析人工智能产品的开发人员提供活生生的参考资料，无论他们选择什么工具（尽管我们希望您能来与我们交谈）。 ​ 如何使用本手册原语涵盖了核心分析人工智能工作负载类型。模式讨论了原语实现的最佳实践。架构是构建端到端系统的更高级别指南。部署涵盖了生产使用的操作注意事项。每个页面本身都应该有用，我们建议从最适合您当前需求的页面开始。如果您主要出于好奇而阅读，我们建议您从基元部分开始。