用Ava提高生产力-Instacart的内部AI助手
扎恩·阿迪尔、凯文·雷和阿达·科恩
概览
在过去的几个月里，我们一直在构建一个由OpenAI的GPT-4和GPT-3.5模型驱动的内部人工智能助手，名为Ava。在Instacart，Ava的采用增长迅速，超过一半的Instacart员工每个月都在使用它，每周有900多人在使用。Ava的网页界面类似于ChatGPT，还具有其他功能，如对话搜索、自动模型升级和“Prompt Exchange”，使用户可以共享和重用提示。用户使用Ava来编写、审查和调试代码，改进沟通，加快学习速度，并在我们的API之上构建基于人工智能的内部工具。那么，我们是如何走到这一步的呢？
从黑客马拉松项目到内部工具
今年早些时候，Instacart举办了一次全公司范围的黑客马拉松。在进行几个不同的项目时，我们的团队借助ChatGPT成功开发出了几乎是最初计划的两倍多的功能。GPT-4，尤其是ChatGPT，在头脑风暴、编码、调试和生成测试方面表现出色。作为一个追求效率的工程团队，我们迅速意识到，我们必须尽快让所有开发人员都能使用ChatGPT。
当时，我们与OpenAI密切合作，并提前获得了GPT-4（32K上下文模型）及其自定义数据隐私、安全和请求配额的API。我们决定利用这些资源，快速构建并发布了适用于我们工程师的Ava！
作为我们最初推出的一部分，我们优先考虑了工程师们会发现最有用的产品功能：方便的键盘快捷键、单击复制代码和随着对话环境的增长自动升级到GPT-4模型之间的转化。在发布后，我们迅速获得了比我们预期更广泛的采用，并注意到用户每个会话花费了20多分钟，并且与Ava作为聊天伴侣一起生成和复制了大量的代码。使用最大的GPT-4上下文模型，开发者还使用Ava来创建、调试和查看完整的代码文件，并总结文档并询问相关问题。
将Ava扩展到工程以外的用户
Ava比我们预期的要快。 发布后，我们进行了用户访谈，并确定了两个重点投资领域。首先，显然不仅工程团队，还包括运营、招聘、品牌营销和人力资源等Instacart员工都渴望尝试Ava。其次，我们希望通过向Ava提供我们的代码库、内部文档和数据来增强其功能。
为了为Ava的更广泛发布做准备，我们致力于使Ava更符合人体工程学，更易于使用，而不是构建面向开发人员的功能。由于我们专注于非工程用户，我们知道从一个空白文本框开始将是一个入门障碍。为了解决这个问题，我们添加了一些精心设计的提示，我们称之为“模板”，可以让用户快速开始对话。我们还添加了全文对话搜索和对话共享功能，让用户可以与其他人分享他们与Ava的对话。
我们知道 Ava 的对话主要会在 Slack 上共享，我们希望确保共享的对话链接能够为用户提供足够的背景，以便他们决定是否跟进链接。因此，我们在 Slack 上添加了“展开预览”的功能，为用户提供对话的预览。这不仅增加了可见性，还显著促进了产品的采用和整体认知。
Ava提示交换
在将Ava发布给整个组织后，我们发现很大一部分对话是从我们的提示模板开始的。我们本可以继续增加更多的模板，但是考虑到这需要付出的努力，我们的小团队并没有具备针对每个团队使用案例创建出色模板的专业知识。因此，我们决定允许用户根据自己的需求和经验创建和共享模板，这将会更加有价值。
因此，与组织内各利益相关者合作，我们推出了Ava Prompt Exchange，这是一个由用户创建的提示库，只需点击几下即可让Ava在特定任务上工作。用户可以浏览热门提示，搜索特定内容，或者创建自己的提示并与公司的其他人共享。如果他们发现某个提示特别有用，他们可以给它加星标，以便稍后重新查看。
让用户更接近Ava
到目前为止，该组织已经有近三分之一的成员每个月都在使用Ava了，但我们希望能够吸引更多的用户，并使Ava更加易于接近。毕竟，如果你想做一些小事情的话，要导航到一个特定的网页并粘贴上上下文信息是一种很麻烦的事情。构建一个Slack应用程序是确保我们的用户随时都能使用Ava的明显途径。但我们不想让Slack集成仅仅成为Web体验的简化版本，因此我们寻找了在Slack应用程序中尤为有价值的特定功能。
当我们与Ava发布了第一套模板时，“快速总结”是其中最受欢迎的模板之一，它可以用事实、开放性问题和行动项来概括一次对话。我们发现我们的用户将此模板应用于会议记录、电子邮件，最重要的是Slack对话中。
因此，“快速摘要”是我们的Slack应用中的一项一流功能明确的选择。除了与Ava进行正常对话外，我们还允许用户通过简单地输入“@Ava summarize”来轻松总结一个主题或频道。摘要随后将公开发布，这使其他参与者可以轻松验证摘要的准确性并记录任何更正。
很难用言语传达这个功能是多么节省时间，尤其是当你在晚期加入一条线程，并且需要浏览七十条信息时。一旦 Ava 总结了一条线程，平时需要花费五到十分钟的了解背景就只需要几秒钟的浏览。
当然，Ava也可以在Slack上作为一个普通的聊天机器人，无论是在DM中还是在Bot被邀请的频道中。Ava可以访问对话的背景，这使得它有能力推断答案并正常参与对话。在构建Ava的Slack应用时，我们非常注意确保用户体验与与同事聊天类似。
接下来是什么？
尽管Ava在多个界面（Web和Slack）上都可用，但还有很多工作要做。我们看到Ava在调试和代码审查以及提升会议和事件管理方面有着光明的前景。我们的下一个优先事项是使Ava变得更加强大。LLMs的软肋在于它们所训练/调整或能够访问的数据，因此我们正在研究知识检索和代码执行，以便Ava不仅可以访问Instacart丰富的内部知识，还可以利用它来完成复杂的任务。通过这种方式提升Ava不仅会立即使我们的用户受益，而且还将为更精密的未来应用奠定基础。
我们也不想成为Ava能量的守门人。我们知道，Instacart的其他团队将在他们自己的工作流程和流程中找到这项技术的用途，并且我们计划通过向全公司开放Ava的API来释放其潜力。
在Ava项目上进行合作至今是一次极为愉快的体验！我们要特别感谢团队中的人员：Ben Bernard，Kye Hohenberger，Mike Deeks，Robert Bowering，Rodrigo Cordeiro和Greg Lyons。感谢你们辛勤的努力和杰出的贡献。
