将Mixtral和REST API:使用Huggingface Spaces将Mixtral-8x7B转换为一个API,保持HTML结构不变。
AI已经成为我们技术领域不可分割的一部分,使我们能够在语言处理和理解方面开辟新的疆域。Mixtral-8x7B是一款先进的大型语言模型(LLM),在其他LLM中脱颖而出。
通过利用高质量的稀疏专家混合模型(SMoE)与开放权重,该模型在大多数基准测试中能够与Llama 2 70B以及GPT3.5相匹配甚至超越其表现。
在本文中,我将解释如何使用Huggingface spaces免费将Mixtral-8x7B转换为完全功能的API。
这将成为您利用人工智能革新应用程序和服务的起点。
要点摘要
- Mixtral-46.7B可以转化为一个免费的LLM API,为AI创新和构建工具打开了新的可能性。
- Huggingface Spaces提供了免费部署任何LLM的可能性。
- 将Mixtral转化为一个API可以带来许多好处,包括增强的语言处理能力和个性化的用户体验。
创建一个Huggingface帐号
Hugging Face是一家法美创业公司,专注于开发机器学习工具。
它也是机器学习和人工智能领域最大的开源社区。我们将在本教程中使用它。
请确保在https://huggingface.co上创建一个Huggingface帐号。
复制我的Huggingface空间
在创建了一个Huggingface账户之后,前往以下网址:https://huggingface.co/spaces/iiced/mixtral-46.7b-fastapi/(这是我的Huggingface空间)。
去右上角按下三个点按钮,然后点击“克隆存储库”。
如果你做了一切正确的事情,你应该有一个看起来像这样的窗口:
发送 API 请求
完成上述步骤之后,现在我们将继续检查这个工作是否正确。
CURL请求将类似于这样:
curl -X POST \
-H "Content-Type: application/json" \
-d '{
"prompt": "What is the capital of France?",
"history": [],
"system_prompt": "You are a very powerful AI assistant."
}' \
https://iiced-mixtral-46-7b-fastapi.hf.space/generate/
为了测试这个,我们将复制这段代码并进入Postman。
如果你没有账户,请确保在https://www.postman.com上创建一个账户。
创建完您的Postman账户之后,仪表板应该类似于这样。
只需粘贴您之前复制的CURL请求,然后点击“发送”,您应该会收到如下的响应。
注意:
请确保根据自己的喜好和使用情况修改提示和系统提示。
如果你找不到链接,只需返回到你的Huggingface空间,点击右上角的三个点,选择“嵌入此空间”,然后你将获得链接。
您的API Endpoint将会是这样的:
https://[YOUR-DIRECT-URL]/generate/
使用其他的LLMs
如果您想要使用其他的LLMs,请返回您的hugging face空间,进入“文件”然后点击“main.py”。
点击“编辑”,然后修改代码的第9行,就像下面所示。
注意:您可以通过浏览HuggingFace Hub找到其他的LLMs,它有许多免费的LLMs,您可以尝试使用这种方法。
- 例如,如果我想要使用GPT-2模型,我会复制这个突出显示的部分,然后粘贴到代码“main.py”中并保存。
这是如何在使用Hugging Face spaces开发任何应用程序时将Mixtral-8x7B转化为可用的API的方式,这只是一个入门指南和我个人对这个项目的文档记录。
我希望这篇文章能给您带来启发,因为这是我第一次写的Medium文章!
我的学校社区
加入我的学校社区(免费终身有限访问权,待转换为付费):https://www.skool.com/hichems-team-3736/about