掌握生成模型: 概念，架构和托管
我在描述生成模型的方式上遇到了困难。整个博客都已经准备好了，但是在引言部分，我碰到了写作障碍。所以，我决定请教一个专家 - 一个生成模型来帮助：Bing Copilot。我打了一行字，“给我一个生成模型的例子”，然后它推荐了GitHub Copilot（哦，那是我最喜欢的伴侣程序员和生成模型😎）。
生成模型是一种机器学习模型，可以学习数据的基本模式或分布，从而生成新的类似数据。例如，GitHub Copilot使用生成模型根据您编写的代码上下文来预测和生成代码片段。这有助于开发人员提供实时代码建议，完成功能，甚至编写测试，使编码过程更高效和直观。
有了它，我的写作障碍消失了，我又回到了状态，借助我最喜欢的人工智能共同作者，正在撰写我的第一篇博客。就像拥有一个创意伙伴，永远不会思路枯竭，永远不会休息，随时都愿意进行头脑风暴，不管是什么时间！🌃👩🏻💻☕️（感谢微软帮助我最终克服写作障碍 😄）
在这个系列中，我们将深入探讨各种概念和主题，以增强我们对生成模型的理解，以及为托管它们所需的工程准备。涵盖的主题将包括：
- 远程过程调用（RPC）框架：我们将比较不同的RPC框架，如Apache Thrift和gRPC，讨论它们的架构、性能和使用案例。
- GPU vs. CPU 架构: 对 GPU 和 CPU 架构之间的差异进行深入探讨，重点关注它们在训练和推理生成模型中的角色。
- 变压器模型概览：变压器模型的全面概述，它们的架构，以及它们在生成式人工智能领域中的关键作用。
- 生成模型概述：我们将探讨生成模型的基础知识，包括它们的类型、应用以及它们如何生成新数据。
- 用于托管生成模型的推理引擎：对vLLMs，SGLang，TensorRT和Ollama等各种推理引擎的详细洞察，以及它们托管生成模型的适用性。
- 使用生成模型进行托管和推理：有关如何托管生成模型和执行推理的实用指南，包括最佳实践和常见挑战。
该系列旨在全面了解与生成模型工作相关的技术方面和实际考虑因素。无论您是初学者还是经验丰富的从业者，您都会发现有价值的见解来增强您的知识和技能。
愉快学习 :)
