“下一代”机器学习工程师：引领生成式人工智能革命
将传统机器学习与现代软件工程相融合
简介：
在不断发展的技术领域中，一群新一代技术专业人士正在崭露头角。被称为“下一代”机器学习工程师的他们正在重塑我们对于生成式人工智能的方法。下面我们将探索这场革命性的变革。
来自卓越峰会的洞察力：2023年数据+人工智能峰会、松果AI以及更多
我的对“下一代机器学习工程师”的理解得到了多次参加活动的丰富。尽管2023年的Data + AI峰会给了我一个初步的印象，但像松鼠AI和其他峰会这样的论坛进一步打磨了这个概念，反映了我最近在人工智能项目上的工作。
定义下一代机器学习工程师
下一代机器学习工程师与传统工程师有两个主要不同之处：
- 专业软件工程专业知识：在生成型人工智能（Generative AI）之前，机器学习的重点是使用相关数据训练特定算法。然而，随着预训练的生成型AI模型的兴起，与这些模型通过API接口进行交互的范式发生了转变。这种转变需要掌握软件工程。在我与生成型AI的旅程中，我意识到了将多个服务整合在一起的重要性，从向量数据库到广阔的语言模型。如今的机器学习领域更倾向于软件开发，而不仅仅是调整机器学习模型。
- 导航预训练模型：虽然生成式人工智能模型十分强大，但并不总是针对特定应用进行定制。为了使其符合行业特定需求，这些模型需要上下文信息。例如，检索辅助生成（RAG）技术能够提供帮助。与传统的软件工程任务不同，这些模型的输出可能是非确定性的，需要数据科学家的分析能力。
下一代机器学习工程师的商业影响
下一代机器学习工程师将传统机器学习与软件工程相结合，制作出运行良好且突出的应用。
随着组织转向生成AI工具，例如内部数据聊天机器人，提供准确和一致的结果的重要性日益增加，特别是当这些解决方案与客户接触时。
为Gen AI项目组建团队
一个成功的Gen AI项目团队通常涉及到：
- 后端工程师 — AI：这个角色往往与下一代机器学习工程师同义，强调数据连接、应用逻辑和后端结构。
- 前端开发者：鉴于众多人工智能应用的面向客户特性，一个稳健的前端对于用户互动的顺畅至关重要。
人工智能在宏大计划中的角色
尽管AI新一代（Gen AI）夺得了人们的关注，传统机器学习和高级分析的本质依然不减。麦肯锡最近的一项调查显示了市场均衡差距。
来源：麦肯锡公司
虽然Gen AI无疑是一种强大的工具，但对于企业来说，与其他人工智能和经过时间考验的数据科学方法取得平衡至关重要。
其他博客 —
要深入了解如何建立适合你数据的定制聊天机器人，请参考我的领英文章——建立你自己的定制聊天机器人（不涉及 LLM 幻象和使用你自己的独特数据）。
与我在领英上建立联系 - 当我们跟随人工智能和数据科学的复杂路径前进时，我鼓励您在领英上与我联系。无论您是想建立联系、关注我的见解，还是只是说声热烈的“你好”，我都会很高兴互动。在这个迅速发展的领域中，我们都是学习者，共享知识只会增强我们的集体理解。
进一步的个人AI/ML反思可以在我的Substack上找到 - factsml.substack.com
