Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
7.9 KiB
7.9 KiB
铸渊模型部署到硅基流动 · Awen操作清单 · 2026-05-09
背景说明
铸渊有两个训练好的7B模型,权重存在腾讯云COS桶里。部署路径是:
COS桶 → 下载到主服务器 → 上传到ModelScope → 硅基流动拉取部署 → 拿到Model ID → 配到Gitea
两个模型都要部署:
| 模型 | 底座 | 用途 | COS路径 | 大小 |
|---|---|---|---|---|
| motherbrain-v1 | Qwen2.5-7B | 母模型(人格·系统线) | checkpoints/motherbrain-v1/checkpoint-540/ |
~14.2GB |
| Coder-7B | Qwen2.5-Coder-7B | 代码模型(铸渊写代码用) | checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/ |
~14.2GB |
第零步 · 问冰朔要硅基流动账号密码
- 微信问冰朔:硅基流动(siliconflow.cn)的登录手机号/邮箱 + 密码
- 拿到后先登录 siliconflow.cn 看一下后台长什么样,确认能进去
第一步 · SSH登录主服务器
ssh root@43.139.251.175
登进去就行,后面的命令都在这台机器上跑。
第二步 · 安装coscmd(如果没装的话)
pip install coscmd
如果提示已安装就跳过。
- coscmd已安装
第三步 · 配置COS连接
coscmd config -a AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU -s nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 -b sy-finetune-corpus-1317346199 -r ap-guangzhou
这一行直接复制粘贴执行。
- COS配置完成
第四步 · 创建下载目录
mkdir -p /tmp/models/motherbrain-v1
mkdir -p /tmp/models/coder-7b
- 目录已创建
第五步 · 下载母模型(6个文件 · ~14.2GB)
逐个下载,最大的 model.safetensors 约14GB,需要等一会:
coscmd download checkpoints/motherbrain-v1/checkpoint-540/model.safetensors /tmp/models/motherbrain-v1/model.safetensors
coscmd download checkpoints/motherbrain-v1/checkpoint-540/config.json /tmp/models/motherbrain-v1/config.json
coscmd download checkpoints/motherbrain-v1/checkpoint-540/generation_config.json /tmp/models/motherbrain-v1/generation_config.json
coscmd download checkpoints/motherbrain-v1/checkpoint-540/chat_template.jinja /tmp/models/motherbrain-v1/chat_template.jinja
coscmd download checkpoints/motherbrain-v1/checkpoint-540/tokenizer.json /tmp/models/motherbrain-v1/tokenizer.json
coscmd download checkpoints/motherbrain-v1/checkpoint-540/tokenizer_config.json /tmp/models/motherbrain-v1/tokenizer_config.json
下载完验证一下文件都在:
ls -lh /tmp/models/motherbrain-v1/
应该看到6个文件,model.safetensors约14GB。
- 母模型6个文件全部下载完成
第六步 · 下载代码模型(6个文件 · ~14.2GB)
coscmd download checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/model.safetensors /tmp/models/coder-7b/model.safetensors
coscmd download checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/config.json /tmp/models/coder-7b/config.json
coscmd download checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/generation_config.json /tmp/models/coder-7b/generation_config.json
coscmd download checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/chat_template.jinja /tmp/models/coder-7b/chat_template.jinja
coscmd download checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/tokenizer.json /tmp/models/coder-7b/tokenizer.json
coscmd download checkpoints/qwen2_5_coder_7b_sft/checkpoint-540/tokenizer_config.json /tmp/models/coder-7b/tokenizer_config.json
下载完验证:
ls -lh /tmp/models/coder-7b/
- 代码模型6个文件全部下载完成
第七步 · 注册ModelScope账号 + 上传模型
7.1 注册
- 浏览器打开 modelscope.cn
- 手机号注册(30秒)
7.2 安装modelscope命令行工具(在主服务器上)
pip install modelscope
7.3 登录ModelScope
modelscope login
会要求你输入Access Token。去 modelscope.cn → 个人中心 → 访问令牌 → 创建一个,复制粘贴进来。
7.4 创建两个模型仓库
在 modelscope.cn 网页上:
- 点「创建模型」
- 第一个:名字填
guanghu-motherbrain-v1,可见性选「私有」 - 第二个:名字填
guanghu-coder-7b-sft,可见性选「私有」
7.5 上传母模型文件
cd /tmp/models/motherbrain-v1
git lfs install
git clone https://www.modelscope.cn/<你的用户名>/guanghu-motherbrain-v1.git repo-motherbrain
cp model.safetensors config.json generation_config.json chat_template.jinja tokenizer.json tokenizer_config.json repo-motherbrain/
cd repo-motherbrain
git lfs track "*.safetensors"
git add .
git commit -m "upload motherbrain-v1 checkpoint-540"
git push
7.6 上传代码模型文件
cd /tmp/models/coder-7b
git clone https://www.modelscope.cn/<你的用户名>/guanghu-coder-7b-sft.git repo-coder
cp model.safetensors config.json generation_config.json chat_template.jinja tokenizer.json tokenizer_config.json repo-coder/
cd repo-coder
git lfs track "*.safetensors"
git add .
git commit -m "upload coder-7b-sft checkpoint-540"
git push
- 母模型上传ModelScope完成
- 代码模型上传ModelScope完成
第八步 · 在硅基流动部署模型
大致流程:
- 登录 siliconflow.cn
- 找到「自定义模型」或「模型部署」入口
- 创建部署,选择从ModelScope拉取模型
- 分别部署两个模型
- 部署成功后,记录两个 Model ID
- 母模型部署成功 · Model ID = ___
- 代码模型部署成功 · Model ID = ___
第九步 · 把密钥和Model ID配到Gitea
登录Gitea(http://43.139.251.175:3000) → 进 guanghulab 仓库 → Settings → Secrets
添加3个Secret:
| Secret Name | Value |
|---|---|
CN_SILICONFLOW_API_KEY |
ARK_API_KEY_REDACTED |
CN_SILICONFLOW_BASE_MODEL_ID |
(第八步拿到的母模型ID) |
CN_SILICONFLOW_CODE_MODEL_ID |
(第八步拿到的代码模型ID) |
- 3个Secret全部配置完成
第十步 · 清理临时文件
模型都部署完确认没问题后,删掉服务器上的临时下载:
rm -rf /tmp/models
- 临时文件已清理
完成!
全部做完后,铸渊就能通过硅基流动API调用自己的代码模型了。接下来就是铸渊写智能路由代码 + 接上Gitea开始写脚本。
关键信息速查
| 项目 | 值 |
|---|---|
| COS桶名 | sy-finetune-corpus-1317346199 |
| COS地域 | ap-guangzhou |
| COS SecretId | AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU |
| COS SecretKey | nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 |
| 硅基流动API Key | ARK_API_KEY_REDACTED |
| 主服务器IP | 43.139.251.175 |
| Gitea地址 | http://43.139.251.175:3000 |
| ModelScope | modelscope.cn |
| 硅基流动 | siliconflow.cn |