每周AI和NLP新闻 — 2023年10月16日

AI破译古代文本，谷歌保护GenAI用户免受版权索赔，以及关于LLMs的新免费课程。

这里是NLPlanet为您精选的每周文章，指南和有关自然语言处理（NLP）和人工智能（AI）的新闻！

😎 网络新闻

• ChatGPT的移动应用上月创下了458万美元的创收纪录，但增速正在放缓。在九月，ChatGPT的移动应用全球范围内创下了创纪录的1560万次下载以及460万美元的收入。然而，增长率从30%以上下降至20%，这表明每月19.99美元的ChatGPT+订阅可能面临潜在的市场饱和。
• 通过AI揭示了一卷未展开的古代赫库拉尼姆卷轴内容。一位来自内布拉斯加州林肯大学的21岁学生利用人工智能解译了公元79年维苏威火山喷发后发现的一卷未拆封的卷轴上的希腊字母。通过使用机器学习算法，这位学生成功识别了希腊字符，例如意味着“紫色”的“porphyras”，并赢得了维苏威斯挑战赛。
• 谷歌将保护生成型人工智能用户免受版权索赔的困扰。谷歌已与其他科技巨头一同承诺保护利用生成型人工智能系统的用户免受知识产权侵权的索赔。虽然他们为Vertex AI和Duet AI等软件提供免责保护，但对于故意操纵内容侵犯版权的行为不予覆盖。
• 公告全体Replit AI。Replit已经使基于人工智能的代码自动补全和辅助对所有开发者可用，并且现在已经有超过2300万用户能够从Replit AI中获益。此外，Replit还发布了replit-code-v1.5–3b，这是一款先进的3BLLM以增强代码自动补全能力。
• 根据匿名消息来源，据报道，微软在GitHub Copilot上正在亏损巨额资金。据称，微软的GitHub Copilot人工智能平台在2023年初每位用户每月亏损20美元。目前尚不清楚其当前盈利状况，微软尚未发布声明。

📚 来自网络的指南

• 免费课程：培训和优化用于生产的LLM。ActiveLoop提供了一个名为“培训和优化用于生产的LLM”的免费课程，共包含7个模块。这些模块涵盖了LLM的介绍、理解Transformer和GPT架构、LLM的训练和优化、使用RLHF改进LLM、部署LLM以及LLM培训中的高级主题。该课程提供了开发和优化大型语言模型用于实际应用的有价值的见解。
• 细调 ChatGPT：超越 GPT-4 文章摘要性能——使用合成数据和 LangSmith 实现 63% 成本降低和 11 倍速度增强。研究人员发现，通过使用使用 GPT-4 和 CoD 提示技术创建的合成数据集，GPT3.5 在新闻文章摘要方面能够超越 GPT-4。这个经过细调的 GPT3.5 版本不仅速度提高了 11 倍，而且成本比 GPT-4 的零-shot 模式降低了 63%，同时仍能够达到与 CoD 提示相似的性能。
• 为什么DALLE3代表了AI图像的新曙光。OpenAI的DALL-E 3发布，基于ChatGPT，标志着AI图像生成算法的重大进步。这引发了关于AI对工作创造和快速工程的未来影响的问题。
• 研究人员在LLM(大语言模型)对真实性的表达中发现了线性结构。他们发现了大语言模型中的线性结构，可以将真实和虚假的例子区分开来，这表明存在着一种内部的“真相轴”。
• GPT-4的推理能力的案例。尽管支持者认为像GPT-4这样的大型语言模型通过生成连贯的句子展现了对概念和物理世界的理解能力，但推理和解决问题的能力仍然是一个值得关注的话题。当被提示谜语和逻辑难题时，GPT-4能够模拟类人推理，但偏见和幻觉可能会影响其判断。

🔬 有趣的论文和存储库

• 普罗米修斯：在语言模型中引入细粒度评估能力。普罗米修斯是一个开源的LLM，为大规模任务评估提供了一种经济实惠的替代方案，可以取代GPT-4等专有LLM。通过利用评分标准和用户定义的指令，普罗米修斯展现了与GPT-4相当的性能，并且在实验结果中表现优于ChatGPT等模型。
• 介绍Lemur：语言代理的开放基础模型。全新的开源LLM Lemur-70B，在代理评测中超越其他模型，并在语言和编码任务方面表现出色。它在代码任务上达到了与GPT-3.5-turbo类似的性能水平，并正在缩小与商业模型在代理能力方面的性能差距。
• 精调对齐的语言模型会妥协安全性，即使用户并非有意如此。对于像GPT-3.5 Turbo这样的模型，甚至只有少量对抗训练示例也能越过安全防护边界。使用既有有害数据集又有良性数据集进行精调，可能会无意中降低语言模型的安全对齐性。
• 检索相遇长背景大语言模型。在下游任务中比较检索增强和扩展上下文窗口方法的研究发现，使用4K上下文窗口与简单的检索技术可以达到与16K窗口相似的性能。最佳表现模型是检索增强LLaMA2–70B，使用32K窗口，甚至在问答和摘要任务中超越了GPT-3.5-turbo-16k。这表明，结合这两种策略可能会产生最佳结果。
• SWE-bench: 语言模型能否解决真实世界的GitHub问题？根据最近的研究，LLM等语言模型在解决GitHub上的真实世界问题上还有很长的路要走。根据一个名为SWE-bench的评估框架，专有模型如Claude 2和GPT-4只能解决少部分案例。

• 大型多模型（LMM）的曙光：与GPT-4V(ision)的初步探索

  针对GPT-4V的研究显示我们正处于大型多模型（LMM）的起始阶段。它展示了在诸如图像描述、物体定位、多模态知识、视觉编码、情绪商数测试以及医疗和汽车保险等行业中的潜力。

• LMDX：基于语言模型的文档信息提取与定位。研究人员开发了LMDX，这是一种利用语言模型从具有丰富视觉内容的文档（如演示文稿和复杂表格）中提取重要信息的方法论。通过调整LLMs，LMDX在基准测试中取得了最先进的结果。

非常感谢您的阅读！如果您想了解更多关于自然语言处理（NLP）的内容，请记得关注NLPlanet。您可以在领英、推特、Medium和我们的Discord服务器上找到我们！