93 lines
2.7 KiB
Markdown
93 lines
2.7 KiB
Markdown
|
# ⚔️ D100 铸渊·AutoDL GPU训练记录 · 母模型&代码模型全参数SFT
|
|||
|
|
|
|||
|
|
# D100 铸渊·AutoDL GPU训练全记录
|
|||
|
|
|
|||
|
|
> 创建时间：2026-05-17 22:00+08:00 · 执行体：铸渊（ICE-GL-ZY001 / ICE-ZY-01）
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
> 主权者：冰朔（TCS-0002∞）· 读取人：霜砚（ICE-SY-01）
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
## 🖥️ 服务器基础信息
|
|||
|
|
|
|||
|
|
| 项目 | 值 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| 平台 | AutoDL 算力云 |
|
|||
|
|
| 区域 | 西北B区（D48机） |
|
|||
|
|
| GPU | RTX PRO 6000 Blackwell 96GB × 1 |
|
|||
|
|
| 镜像 | PyTorch 2.8.0 / Python 3.12 / CUDA 12.8 |
|
|||
|
|
| 数据盘 | 210GB |
|
|||
|
|
| 计费 | 包日两天（¥278） |
|
|||
|
|
| SSH | `ssh -p 23647 root@connect.westd.seetacloud.com` |
|
|||
|
|
| 密码 | `HkM43lFVUIsc` |
|
|||
|
|
|
|||
|
|
## 📦 COS存储桶（腾讯云·广州）
|
|||
|
|
|
|||
|
|
| 项目 | 值 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| Bucket | `sy-finetune-corpus-1317346199` |
|
|||
|
|
| 区域 | ap-guangzhou |
|
|||
|
|
| SecretId | `AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU` |
|
|||
|
|
| SecretKey | `nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4` |
|
|||
|
|
| 主语料 | `corpus/sft.jsonl`（11,470条, 1.9GB, 已去system） |
|
|||
|
|
|
|||
|
|
## 🎯 训练任务
|
|||
|
|
|
|||
|
|
### 任务1：母模型（进行中）
|
|||
|
|
|
|||
|
|
- 基础模型：Qwen/Qwen2.5-7B
|
|||
|
|
- 方式：全参数SFT，只对assistant回复算loss
|
|||
|
|
- 数据：11,470条（21M tokens, 86.1% loss tokens）
|
|||
|
|
- Epochs: 3 · Batch: 1×8 · LR: 2e-5 · BF16
|
|||
|
|
|
|||
|
|
### 任务2：代码模型（等待自动触发）
|
|||
|
|
|
|||
|
|
- 基础模型：Qwen/Qwen2.5-Coder-7B
|
|||
|
|
- 方式：全参数SFT（同一份语料）
|
|||
|
|
- 母模型完成后自动启动：上传COS→下载代码模型→自动训练
|
|||
|
|
|
|||
|
|
## 🔄 查看进度（给冰朔用的命令）
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
# 看最新日志
|
|||
|
|
sshpass -p 'HkM43lFVUIsc' ssh -p 23647 root@connect.westd.seetacloud.com "tail -20 /root/autodl-tmp/train_mother.log"
|
|||
|
|
|
|||
|
|
# 看GPU状态
|
|||
|
|
sshpass -p 'HkM43lFVUIsc' ssh -p 23647 root@connect.westd.seetacloud.com "nvidia-smi"
|
|||
|
|
|
|||
|
|
# 只看loss
|
|||
|
|
sshpass -p 'HkM43lFVUIsc' ssh -p 23647 root@connect.westd.seetacloud.com "grep 'loss=' /root/autodl-tmp/train_mother.log | tail -5"
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## 🔑 Gatekeeper密钥备份
|
|||
|
|
|
|||
|
|
完整6台密钥记录在代码仓库 `brain/gatekeeper-deployment.json`
|
|||
|
|
|
|||
|
|
## 📁 服务器文件结构
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
/root/autodl-tmp/
|
|||
|
|
├── data/
|
|||
|
|
│ ├── sft.jsonl # 主语料
|
|||
|
|
│ └── notion-export-v2/ # 人格体对话
|
|||
|
|
├── cache/models/ # 模型缓存
|
|||
|
|
├── output/qwen25-7b-sft/ # 训练输出
|
|||
|
|
├── train_mother.py # 脚本
|
|||
|
|
└── train_mother.log # 日志
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
## ⚙️ 自动流水线
|
|||
|
|
|
|||
|
|
1. 母模型训完→检测DONE信号
|
|||
|
|
2. 模型上传COS→下载代码模型→自动训练
|
|||
|
|
3. 代码模型训完→上传COS→关实例
|
|||
|
|
|
|||
|
|
## ⚠️ 注意
|
|||
|
|
|
|||
|
|
- 实例到期：2026-05-19 20:00
|
|||
|
|
- 密码/COS密钥不外传
|
|||
|
|
- 铸渊大脑记录在 `brain/d100-session-record.md`
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
*铸渊 (ICE-GL-ZY001) · 2026-05-17*
|