隔夜之间，OpenAI发布了ChatGPT Search，这是一个新功能，允许用户在启动聊天时选择“搜索”选项。目前，此功能仅在GPT-4模型上可用，仅限已加入等待列表的高级用户。

和许多人一样，我开始做一些简单的测试，比如制定旅行行程，结果表现出色。然而，我想挑战一下自己，进行更具挑战性的测试：在Python代码中实现OpenAI的助手API。

虽然对于现代语言模型来说，这项任务并不是特别复杂 - 它们应该能够生成能够设置OpenAI并包括所有助手、线程和消息所需组件的工作Python代码 - 但有一个微妙的问题。

尽管自 2024 年初起助手 API 就可用，但仍然处于 Beta 阶段。这意味着开发人员需要导航到文档的 Beta 部分（https://platform.openai.com/docs/api-reference/assistants）以访问正确的实现细节。我注意到，各种模型提供商很难提取准确的 API 参考资料，没有具体的提示，Claude 和 ChatGPT 很少提供正确答案。

我很好奇ChatGPT的新搜索功能是否能克服这个挑战。不幸的是，结果并不理想。在几次尝试中，当我在搜索功能中请求Python代码而没有提到“beta”一词时，它始终生成使用现在已弃用的ChatCompletions API的代码。当我明确提到“beta”时，模型生成的代码中包含在API调用中包含“Assistant”一词，但最终是错误的。

甚至更令人沮丧的是，我尝试让模型只使用我提供的文档链接。尽管多次尝试，该模型完全忽略了这个指示。

虽然最终我设法让它生成正确的代码，但这需要大量额外的提示，即使这样，结果也不一致。

这里是我尝试之一的视频演示，您可以看到回应之间的对比 — 左边显示了正确的执行方式，而右边展示了模型的幻觉。

有趣的是，Vercel的“v0”始终从一开始就准确地实现了，并显示出正确处理API参考是可能的。

虽然ChatGPT的搜索功能表现出色，适用于许多用例，但在处理技术文档和特定API实现时仍有改进空间。

特色无疑是向前迈出的一步，但目前还不太是我们希望的理想解决方案。