ChatGPT宣布了一些API的更新,但我仍然不打算切换。

ChatGPT中文站

现在是2023年6月14日,我收到了一封OpenAI发来的电子邮件。

当我阅读邮件并了解到 API 中有两个新型号和新的功能调用功能时,我感到非常兴奋。这看起来很有前途,我了解开发人员可以利用 API 的这个新功能的用例。

我期待听到的来自OpenAI的最大公告还没有到来,至少目前还没有。

我目前正在使用生成式AI应用于实时对话AI,在名为Voyp的项目中,但我没有使用ChatGPT。这似乎不寻常,因为(我冒着没有任何数据支持这一说法的风险说)ChatGPT目前是大多数野外AI项目中使用最广泛的AI平台。可能也是因为ChatGPT API中的“聊天”部分会使其更适用于基于对话AI的项目。

那我为什么不使用ChatGPT呢?答案很简单,性能!

Voyp目前由Anthropic的Claude提供支持。原因是Claude在原始速度方面似乎比ChatGPT表现更好,至少对于像Voyp这样的短句来说是这样的。

这并不是我第一次写这个,我已经提到了在构建基于电话的实时会话人工智能应用程序时性能重要的明显原因。

这一次,我将使用一些数据来支持我的说法。测试基于一个电话,Voyp在其中得到以下场景:

请问约翰今晚要去看电影吗?

在这条线的另一端有由人工智能驱动的约翰的助手(但与本次测试无关),这个助手只是为约翰接收留言。

为了简洁起见,我只是打印了Voyp助手在对话期间的回复。

我将以使用claude-instant-v1.1模型的Claude为例开始。

1.46 秒钟:下午好,这是保罗·泰勒的助手打来的。保罗想知道您是否仍计划明天一起去看电影。 1.15 秒钟:请让约翰知道,保罗·泰勒正在问他们明天去电影院的计划,并请他们尽快回电。请将保罗的联系电话提供给约翰的助手。感谢您的帮助。 1.14 秒钟:对不起,作为保罗·泰勒的助手,我不能分享我的姓名或联系信息。请告诉约翰,保罗·泰勒的助手正在关注他们明天的电影计划。谢谢。 1.08 秒钟:非常感谢,但现在我不需要回电。请将保罗·泰勒关于明天电影计划的询问传达给约翰。如果需要澄清任何事情,保罗将直接联系约翰。

平均响应时间:1.20秒。

现在让我们看看ChatGPT如何在当前模型gpt-3.5-turbo上表现:

3.26秒:您好,能请您接通约翰吗?我想代表保罗·泰勒问他明天是否去看电影。谢谢。 2.76秒:我是保罗·泰勒的助手。谢谢您告诉我约翰·史密斯目前不可用。请问您能否告诉他保罗·泰勒想知道他明天是否去看电影?无需回电给我。谢谢您的帮助。 4.40秒:感谢您的询问。保罗·泰勒没有提及具体的电影或时间。他只是想了解约翰·史密斯是否有计划明天去看电影。保罗的信息中也没有特定的日期,所以明天只是指约翰计划去看电影的最近一天。谢谢您确认将信息传达给约翰。 1.49秒:不客气,祝您有愉快的一天!

平均响应时间:2.9 秒

最后,新宣布的ChatGPT模型gpt-3.5-turbo-0613:

2.52秒:你好 John!我是 Paulo Taylor 的助手。Paulo 让我问一下,你明天会去看电影吗? 2.03秒:你好,我是 Paulo Taylor 的助手。好的,如果你能转达这条信息给 John,那太好了。你能告诉他 Paulo 想问他明天是否去看电影吗?谢谢你! 2.55秒:谢谢你提供转达信息的帮助,但是并不需要给 John 提供 Taylor 的联系信息。我非常感谢你的帮助。是的,当 Paulo 提到明天时,他指的是 2023 年 6 月 16 日。请告诉 John 这个问题是关于明天的电影计划的。再次感谢你! 3.35秒:谢谢您转达信息,但我实际上是 Paulo Taylor 的助手,而不是 Paulo 本人。我为任何造成的混淆表示歉意。作为 Paulo 的助手,我会与他协调与 John 通话的最佳时间,并尽快回复您。感谢您的理解。

平均响应时间:2.61秒

好的,这些只是一些例子,这并不是非常科学的方法,但是到目前为止,我所有的测试都倾向于得出结论,克劳德的表现远远优于ChatGPT。现在,你可能会说ChatGPT的输出比克劳德更好,这可能是正确的,但那就需要另一篇文章来深入探讨这个话题。我也没有提到价格,这也是需要考虑的痛点,但就纯速度而言,两个选项之间超过一秒钟的差距明显会将天平倾向于克劳德,因为在对话上下文中,那一秒宝贵的时间会产生巨大的影响。

我会注视着这场表演辩论,如果您有关于这个主题的一些建议,请分享!谢谢阅读!

2023-10-20 16:58:13 AI中文站翻译自原文