|
|
@@ -1,3 +1,106 @@
|
|
|
+
|
|
|
+
|
|
|
+# PilotDeck
|
|
|
+OpenBMB开源一站式大模型开发部署平台,全流程工具链助力大模型快速落地
|
|
|
+
|
|
|
+## (一)项目简介
|
|
|
+### 核心定位
|
|
|
+本项目是OpenBMB推出的生产级大模型全生命周期管理平台,为开发者和企业提供从模型训练、微调、推理部署到性能监控、资源调度的一站式解决方案,解决大模型开发门槛高、部署复杂、运维困难等核心痛点,帮助企业零门槛构建和部署自己的大模型应用。
|
|
|
+
|
|
|
+### 解决的痛点
|
|
|
+- 大模型开发需要深厚的AI技术积累,普通开发者和中小企业难以快速上手
|
|
|
+- 多模型管理混乱,缺乏统一的调度、监控和版本管理机制
|
|
|
+- 部署流程繁琐,资源利用率低,推理性能优化难度大,运维成本高
|
|
|
+- 不同框架和模型之间兼容性差,模型迁移和复用困难
|
|
|
+
|
|
|
+### 核心优势
|
|
|
+- **全流程一体化**:覆盖模型训练、参数高效微调、推理部署、性能监控、资源调度全环节,一个平台搞定大模型应用开发全流程
|
|
|
+- **低代码可视化操作**:提供直观的Web管理界面,无需复杂编码,通过拖拽和配置即可完成模型部署和服务发布
|
|
|
+- **全主流模型兼容**:原生支持Llama 2/3、Qwen 1.5/2、ChatGLM、Baichuan等数十种主流开源大模型,自动适配不同模型格式
|
|
|
+- **高性能推理优化**:内置模型量化、剪枝、分布式推理、批处理等优化技术,推理速度提升3-10倍,大幅降低部署成本
|
|
|
+- **企业级生产能力**:支持多租户隔离、细粒度权限管理、弹性扩缩容、日志审计和故障自动恢复,满足企业级生产环境需求
|
|
|
+
|
|
|
+## (二)环境前置要求
|
|
|
+- **操作系统**:Ubuntu 20.04+/CentOS 8+/Debian 11+(推荐Linux系统)
|
|
|
+- **Python版本**:Python 3.9 - 3.11
|
|
|
+- **软件依赖**:Git、Docker 20.10+、Docker Compose 2.0+、NVIDIA Container Toolkit(GPU环境必需)
|
|
|
+- **硬件要求**:
|
|
|
+ - 推荐配置:8核CPU + 32GB内存 + NVIDIA GPU(显存≥16GB,支持CUDA 11.8+)
|
|
|
+ - 最低配置:4核CPU + 16GB内存(仅用于CPU推理和轻量级模型部署)
|
|
|
+
|
|
|
+## (三)快速开始 / 安装部署
|
|
|
+### 方式一:Docker Compose一键部署(推荐生产环境)
|
|
|
+```bash
|
|
|
+# 克隆仓库
|
|
|
+git clone https://github.com/OpenBMB/PilotDeck.git
|
|
|
+cd PilotDeck
|
|
|
+
|
|
|
+# 复制并修改环境配置文件
|
|
|
+cp .env.example .env
|
|
|
+# 编辑.env文件,配置数据库、GPU资源和模型存储路径
|
|
|
+
|
|
|
+# 启动所有服务
|
|
|
+docker compose up -d
|
|
|
+```
|
|
|
+服务启动后,访问 `http://你的服务器IP:8000` 即可进入管理后台,默认账号密码为 `admin/admin123`。
|
|
|
+
|
|
|
+### 方式二:源码本地部署(开发测试)
|
|
|
+```bash
|
|
|
+# 克隆仓库
|
|
|
+git clone https://github.com/OpenBMB/PilotDeck.git
|
|
|
+cd PilotDeck
|
|
|
+
|
|
|
+# 创建并激活虚拟环境
|
|
|
+python -m venv venv
|
|
|
+source venv/bin/activate # Windows: venv\Scripts\activate
|
|
|
+
|
|
|
+# 安装依赖
|
|
|
+pip install -r requirements.txt
|
|
|
+
|
|
|
+# 初始化数据库
|
|
|
+python init_db.py
|
|
|
+
|
|
|
+# 启动前端和后端服务
|
|
|
+npm install && npm run build
|
|
|
+python main.py
|
|
|
+```
|
|
|
+本地访问 `http://localhost:8000` 即可使用。
|
|
|
+
|
|
|
+## (四)基础使用示例
|
|
|
+### 1. 导入模型
|
|
|
+1. 登录管理后台,进入"模型管理"页面
|
|
|
+2. 点击"导入模型",选择模型来源(本地文件、Hugging Face、ModelScope)
|
|
|
+3. 输入模型名称和版本,选择模型类型,点击"开始导入"
|
|
|
+4. 等待模型导入完成后,即可在模型列表中查看
|
|
|
+
|
|
|
+### 2. 创建微调任务
|
|
|
+1. 进入"微调管理"页面,点击"新建微调任务"
|
|
|
+2. 选择基础模型,上传训练数据集(支持JSON、CSV格式)
|
|
|
+3. 配置微调参数(学习率、批次大小、训练轮数等)
|
|
|
+4. 点击"开始训练",系统自动执行微调任务,可实时查看训练进度和损失曲线
|
|
|
+
|
|
|
+### 3. 部署推理服务
|
|
|
+1. 进入"服务部署"页面,点击"新建服务"
|
|
|
+2. 选择要部署的模型和版本,配置资源配额和并发数
|
|
|
+3. 选择部署方式(单实例、分布式),点击"部署"
|
|
|
+4. 等待服务启动完成后,系统会自动生成API调用地址和密钥
|
|
|
+
|
|
|
+### 4. 调用推理API
|
|
|
+```bash
|
|
|
+curl -X POST http://你的服务器IP:8000/api/v1/chat/completions \
|
|
|
+ -H "Content-Type: application/json" \
|
|
|
+ -H "Authorization: Bearer 你的API密钥" \
|
|
|
+ -d '{
|
|
|
+ "model": "qwen-7b-chat",
|
|
|
+ "messages": [{"role": "user", "content": "你好,请介绍一下自己"}],
|
|
|
+ "temperature": 0.7,
|
|
|
+ "max_tokens": 512
|
|
|
+ }'
|
|
|
+```
|
|
|
+
|
|
|
+## (五)开源许可证
|
|
|
+本项目采用 **Apache License 2.0** 开源许可证,详细条款请参考项目根目录下的 LICENSE 文件。
|
|
|
+
|
|
|
<p align="center">
|
|
|
<img src="assets/banner.png" alt="PilotDeck" width="680"/>
|
|
|
</p>
|