ChatGPT的重大突破-多模式特性。这意味着

多模态人工智能是什么，以及它是否值得引起炒作。

如果过去一周/两周您访问了领英，您可能会被人们对GPT整合多模态能力的热议所淹没。通常情况下，我会花点时间告诉您，这又是炒作机器加班加点向您推销另一个基本上毫无用处的想法的一个例子。

好吧，这一次有所不同。多模式是一种真正强大的发展，它确实值得引起重视。在本文中，我将为您简要介绍多模式，为什么它对人工智能模型来说非常重要，并探讨一些可能存在的问题（请记住，没有什么是完美无缺的）。

加入15万+科技领袖，通过我的免费通讯订阅，获取关于人工智能中最重要的思想的见解直接送达您的收件箱- 人工智能简易化。

多模态101

什么是多模态人工智能-简而言之，多模态人工智能指的是将多种类型的数据（多种信息的形式）集成到人工智能中。传统上，我们为语言开发语言模型，为声音开发声学模型，为表格数据开发统计模型等。多模态模型是通过在同一训练过程中混合使用这些输入来进行训练的。通常，这是通过将输入数据通过嵌入模型进行处理，以在一个共同的n维空间中创建数据的向量表示来实现的。

为什么多模态是一件大事 - 而不是沉浸在数学中，我希望你现在出去。去散散步。现在看看天空，想象一下你有一架喷气背包。想想你可以走多少更多的路径 - 即使你仍然在同一个地理区域。多模态为您的数据增加了另一个维度-使您的模型能够从一个数量级更大的搜索空间中取样。在我们的步行示例中，我们从x²个可能的点增加到了x³个点。当Google引入其多模态人工智能基础设施Pathways时，他们写道-

多模态的危险性 - 虽然多模态对模型性能有很大的改进，但它并没有真正解决GPT和LLMs存在的更基本问题，而这些问题限制了它们的大规模应用。增加的搜索空间会增加成本，多模态并不能真正解决虚构问题，许多不可靠和脆弱性问题仍然存在。我仍然坚持认为，许多人吹捧这些模型的应用场景可以通过更简单的技术更好地解决。不要让华丽的新事物让你忽视了基本问题。

总体而言，多模态真的很酷。它可以在压缩、数据标注、标签等各种应用中发挥作用。这可能有点异端，但就个人而言，我对多模态嵌入比对多模态人工智能模型本身更感兴奋。我可能是唯一一个持这种观点的人，但我只是认为发展更好的嵌入比构建更好的模型更有用。话虽如此，在合适的情况下，将多模态能力整合到您的人工智能模型中绝对是一种重要的功能。

如果您喜欢这篇文章，并希望分享，请参考以下准则。

如果您发现 AI Made Simple 很有用并且想支持我的写作，请考虑通过以下订阅成为我组织的高级会员。订阅可以让您获得更多内容的访问权限，并支持我继续写作。这将花费您400卢比（5美元）每月或4000卢比（50美元）每年，并且配有一个为期60天的完全退款政策。以一杯咖啡的价格，了解最新发展并发展您对最重要的想法的理解。

支持人工智能的简易版本