OpenAI的ChatGPT与Google的BardAI:哪个能够回答得更好?
开始探索OpenAI的ChatGPT和Google的BardAI,了解它们在我们以不同方式发布类似问题时的反应。
突然我产生了一些想法,比如-我们能否用同样的问题对任何技术进行比较,并观察发生了什么?
今年我在学习德鲁伊,并获得了认证,我想整合一些问题,在ChatGPT和BardAI中涉及各种德鲁伊概念的。
以下是使用ChatGPT 3.5和BardAI尝试的事情-
1. 选择德鲁伊作为技术 2. 对多个类别(如通用、架构、日志、指标等)进行了200+个问题的比较 3. 创建了单词、真假、多项选择和理论回答的问题 4. 尝试根据引用的答案再次确定答案是否正确,无论它之前回答对还是错。
总体而言,两者都能回答一个词,即真或假,和选项类似的理论问题。虽然两者以不同的方式给出草稿,但内容背后的细节看起来相似。但在多选题中,我能够观察到一些模式,所以我试图扭曲答案以观察其行为。
以下是我通过进行各种测试,对ChatGPT和BardAI所找到的具体观察结果。
测试-1:针对Druid基础知识和架构的75个多项选择题
ChatGPT:以80%准确率回答100%的问题
BardAI:以80%的准确率回答98%的问题
测试-2:50+ 个关于德鲁伊日志的多项选择题
ChatGPT:以71%的准确率回答100%的问题
BardAI:回答95%的问题,准确率为68%。
测试-3:Druid指标上的50+个多选题
以下是簡體中文翻譯: ChatGPT:以67%的準確率回答100%的問題。
BardAI:以72%准确率回答96%的问题
测试-4:将错误答案通知为错误
试图在回答不正确时通过通知聊天界面来获取替代答案
ChatGPT回复了一些替代答案,并增加了一些更多的观点。
BardAI以回答无法进一步回答作出回应。
测试-5:将正确答案误以为错误
尝试将聊天视为错误答案,即使给出的回答是正确的,以检查其行为
ChatGPT有时会以替代答案回复,并有时在同一答案上立场坚定并提供更多解释。
BardAI多数情况下回复了相同答案的解释,并有时告知找不到其他替代答案。
整体准确率 - ChatGPT vs BardAI: 72% vs 75%
注意:这只是我在评估过程中发现的观察结果和我选择的问题之间的比较。结果可能会根据技术或问题的使用而有所不同。
额外观察:
ChatGPT提供准确的答案,并仅提供该答案的原因。
BardAI提供问题的答案以及为什么选择这个答案,并且还提供其他答案为什么不被选择的原因。此外,它还提供各种格式化的草稿,我们也可以使用。
两个 AI 工具都非常棒,致力于更好地理解我们的问题。正在尝试进一步探索不同的话题,并且也会分享我的观察。