每周人工智能和自然语言处理新闻-2023年10月23日
- OpenAI 停止了 Arrakis 模型的开发。OpenAI 所计划开发的 AI 模型 Arrakis，旨在降低 AI 应用（如 ChatGPT）的计算费用，但该计划已被搁置。尽管遇到了这个挫折，OpenAI 仍保持着增长的势头，预计年收入将达到 13 亿美元。然而，他们可能会面临谷歌即将发布的 AI 模型 Gemini 带来的挑战，并在 AI 安全峰会上接受审查。
- OpenAI悄然改变了其“核心价值观”。最近，OpenAI更新了其核心价值观，将重点放在了人工通用智能（AGI）上。公司现在将AGI作为主要目标，并将其置于最重要的位置。修订后的价值观还包括专注和敏捷、扩展规模、打造深受人们喜欢的产品以及培育团队精神。
📚 网上指南
- 变压器数学101。本内容提供了处理大型语言模型（LLMs）所需的重要数字和方程式。它涵盖了计算需求、计算最优解、最小数据集大小、最小硬件性能以及推理时的内存需求等主题。
- 超级关注力: 近线性时间的长上下文关注力。超级关注力是一种针对语言模型中更长上下文的计算挑战的新颖解决方案。它通过使用局部敏感哈希（LSH）来超越现有方法，从而实现了显著的速度改进。超级关注力在长上下文数据集上表现出色，使推理更快，同时保持合理的困惑度。
- DeepSparse：在CPU上实现GPU级别推理。DeepSparse是一个强大的框架，通过引入稀疏内核、量化、剪枝和注意力键/值的缓存来增强在CPU上的深度学习。它在常用的CPU上实现了类似GPU的性能，实现了对模型的高效和稳健部署，而无需专用加速器。此外，DeepSparse还支持LLMs、BERT、ViT、ResNet等流行的架构，使其适用于从云端到边缘的各种硬件配置。
- PaLI-3视觉语言模型：更小、更快、更强。PaLI-3是一个更小、更快、更强大的视觉语言模型（VLM），在其10倍大小的模型中表现出色。它利用了一个使用对比目标进行训练的ViT模型，使其在多模态基准测试中表现出色。
- 章鱼：以环境反馈为基础的视觉语言编程专家。章鱼是一种类似GPT-4V的视觉语言模型（VLM），正在用于解决类似GTA的游戏中的任务。它展示了在解码视觉和文本任务方面的强大能力。章鱼能够生成详细的行动序列和可执行代码，有效处理各种复杂程度的任务。
- MemGPT：走向以LLMs为操作系统。MemGPT是一种新的语言模型，采用了传统操作系统中的层次性内存系统所启发的虚拟上下文管理。它能够在长时间互动过程中实时自适应地创建对话界面。
