使用PrivateGPT和开源LLM设置家庭控制系统。

家庭智能控制

概述

使用开源技术为您的家庭需求设置人工智能家庭控制系统。

安装私有 GTP 到您的本地计算机

# 克隆存储库

git克隆 https://github.com/imartinez/privateGPT

cd私人GPT

安装Python 3.11

conda create -n privategpt python=3.11 创建 -n privategpt python=3.11 的conda环境

conda 激活 privategpt

# 安装依赖项

安裝 poetry

诗歌安装 - 带有界面和本地化

如果需要的话，请更新settings.yaml

当地

llm_hf_repo_id：TheBloke/Mistral-7B-Instruct-v0.1-GGUF（项目存储库ID：TheBloke/Mistral-7B-Instruct-v0.1-GGUF）

llm_hf_model_file：mistral-7b-instruct-v0.1.Q4_K_M.gguf

然后...

# 下载嵌入和LLM模型。大约需要4 GB的空间。

诗歌运行python脚本/设置

运行

对于使用Metal GPU的Mac电脑，请启用它。请查阅安装和设置部分，了解如何在其他平台上启用GPU。

CMAKE_ARGS="–DLLAMA_METAL=on" pip install — force-reinstall — no-cache-dir llama-cpp-python 将上述英文文本翻译为简体中文，并保留HTML结构： CMAKE_ARGS="–DLLAMA_METAL=on" pip install — force-reinstall — no-cache-dir llama-cpp-python

＃运行本地服务器。在具有Metal功能的Mac上，您应该看到一个ggml_metal_add_buffer日志，指示正在使用GPU。

PGPT_PROFILES=本地执行 make run

# 导航到用户界面

http：//localhost:8001/