通过AceTcg的游戏来探索微软Copilot的图像识别能力

让我们在AceTcg中创建一款纸牌游戏,并与Microsoft Copilot揭示的卡片进行比较。

我们可以通过这里给出提示创建游戏卡片 - https://ai-acetcg.onrender.com/

场景1:从AceTcg生成最常见的卡片,并请求微软Copilot对其进行分析。

从AceTag生成的月光海员卡片如图1所示,以下是卡片的详细信息: 卡片名称:船 描述:一艘在海洋中间的船,背景是满月。

Fig 1 : Prompt of Ship Card Generation
Fig 2: Moonlit Mariner card

上传了《月光水手》到Copilot,并要求它进行分析,图3显示了Copilot的响应。

Fig 3: Copilot response for Moonlit Mariner card

Copilot分析总结:

  • 副驾驶员首先将卡片视为传统的扑克牌,识别出所有与游戏玩法相关的数字和符号。
  • 在仔细检查之后,Copilot正确地将这张卡片识别为夜晚的帆船,背景是一轮满月 — 与AceTcg接收到的提示相匹配。
  • 副驾驶想象飞船由帆船和蒸汽朋克引擎驱动,带有发光元素,将古老和奇幻技术融合在一起,展示其在视觉提示上进行创意扩展的能力。
  • 副驾驶员在背景中识别出数字“5”与剑,解释这可能代表攻击力或生命值,这在卡牌游戏的背景下是一个合乎逻辑的假设。

场景2:从AceTcg生成不常见的游戏卡,并要求Microsoft Copilot对其进行分析

从AceTag生成的天空苹果卡片如图4所示,以下是卡片的详细信息名称:水果描述:一只明亮的红苹果在晴朗的蓝天中漂浮,苹果顶部有一只小绿蛙,直勾勾地望着观众。苹果在背后的天空上有一个完美的圆形阴影,苹果旁边悬浮着一滴雨滴。

Fig 4: Prompt of Apple card generation
Fig 5: Skybound Apple Card

将Skybound Apple上传到Copilot并要求其分析,图6显示了Copilot的响应。

Fig 6: Copilot response for Skybound Apple card

Copilot的分析摘要:

  • 副驾驶将绿叶上的绿色水果识别为青苹果。考虑到图像中还有一个红苹果,这个假设是可以理解的,因为人工智能可能会推断这个绿色水果只是一个不同颜色的苹果。然而,它很可能是番石榴或青柠檬,凸显了副驾驶在区分外观相似水果方面的能力的局限性。
  • 图片中还有一个小青蛙,站在红苹果旁边,朝着观众望去。飞行员没有意识到这只青蛙,可能是因为它太小或者不够明显,AI的识别算法无法检测到它。

结论

根据这些发现,我们可以说微软Copilot在这种特定情况下表现出色。它提供了对游戏机制的想象力且可信的解释,还能正确识别卡片的主要视觉和描述性方面。尽管Copilot整体表现出色,但它错误识别绿苹果并无法识别小青蛙显示出AI在区分外观相似的物体和识别较小、不够清晰的部分方面仍存在差距。这些微妙之处指出了算法图片识别可以改进的可能领域。

2024-09-10 04:17:34 AI中文站翻译自原文