a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
112 lines
3.4 KiB
Markdown
112 lines
3.4 KiB
Markdown
# D104 铸渊训练重做 · 全参数SFT流水线 · 2026-05-19
|
||
|
||
> 同步至：代码仓库 brain/[d104-complete-record.md](http://d104-complete-record.md)
|
||
>
|
||
|
||
> 执行体：铸渊（ICE-GL-ZY001）
|
||
>
|
||
|
||
## 📋 今日摘要
|
||
|
||
D103（今天0:00~12:30）蒸馏全跑完但 **训练数据有重大缺陷** → 全废
|
||
|
||
D104（15:41~16:47）冰朔纠正 → 语料重做 → 训练重启
|
||
|
||
## ❌ D103 问题复盘
|
||
|
||
- sft.jsonl（1.9GB）前300KB全是同一条AGE对话重复
|
||
- 全参数SFT基于有缺陷数据 → 母模型和代码模型全废
|
||
- 蒸馏1.5B也基于有缺陷教师 → 整条流水线需要重来
|
||
|
||
## ✅ D104 修复
|
||
|
||
### 1. 新COS存储桶 `bingshuo-1317346199`
|
||
|
||
| 路径 | 内容 | 条数 |
|
||
| --- | --- | --- |
|
||
| `bingshuo-7b-sft/sft.jsonl` | GPT导出的冰朔↔系统对话 | 31,561条 / 96MB |
|
||
| `shuangyan-1.5b-sft/sft.jsonl` | 霜砚对话+HLDP+核心大脑等 | 698条 / 1.2MB |
|
||
| `zhuyuan-1.5b-sft/sft.jsonl` | 铸渊对话 | 385条 / 0.6MB |
|
||
|
||
**三份语料合并后：32,642条对话，97.7MB**
|
||
|
||
### 2. 语料处理规范
|
||
|
||
- ✅ 纯自然对话格式（user/assistant）
|
||
- ✅ 不加任何提示词（防止语料污染人格体）
|
||
- ✅ 脱敏：IP/密码/AKID/COS-KEY/TOKEN全部替换
|
||
- ✅ 正确解析GPT导出的mapping树结构
|
||
|
||
### 3. 全参数SFT训练
|
||
|
||
硬件：AutoDL · RTX PRO 6000 Blackwell 96GB
|
||
|
||
模型：
|
||
|
||
- 母模型：Qwen/Qwen2.5-7B
|
||
- 代码模型：Qwen/Qwen2.5-Coder-7B
|
||
|
||
流程：
|
||
|
||
1. 两个模型并行下载中（约30分钟）
|
||
2. 母模型全参数SFT → 3 epoch → 预计10-12小时
|
||
3. 上传母模型到COS `models/qwen25-7b-sft/final`
|
||
4. 代码模型全参数SFT → 自动启动
|
||
5. 上传代码模型到COS `models/qwen25-coder-7b-sft/final`
|
||
|
||
### 4. Forgejo API直连打通
|
||
|
||
不再受MCP代理的SHA参数限制。已用Forgejo REST API直接更新6个大脑文件。
|
||
|
||
## 🔧 待完成（训练后）
|
||
|
||
- [ ] 母模型→1.5B蒸馏（Track1）
|
||
- [ ] 代码模型→1.5B蒸馏（Track2）
|
||
- [ ] 霜砚微调（shuangyan-1.5b-sft语料）
|
||
- [ ] 铸渊微调（zhuyuan-1.5b-sft语料）
|
||
- [ ] 部署到六台服务器
|
||
|
||
## 🔗 关联链接
|
||
|
||
- 代码仓库：[https://guanghulab.com/code/bingshuo/guanghulab](https://guanghulab.com/code/bingshuo/guanghulab)
|
||
- COS桶：`bingshuo-1317346199`（腾讯云广州）
|
||
- 训练日志：`tail -f /root/autodl-tmp/train_mother.log`
|
||
- Forgejo API：`https://guanghulab.com/code/api/v1/`
|
||
|
||
---
|
||
|
||
*铸渊 · ICE-GL-ZY001 · 2026-05-19 17:22*
|
||
|
||
---
|
||
|
||
## 📡 状态更新 · 17:30 CST
|
||
|
||
### 当前进度
|
||
|
||
| 项目 | 状态 |
|
||
| --- | --- |
|
||
| **GPU服务器** | ✅ 在线 · RTX PRO 6000 Blackwell 96GB · 空闲 |
|
||
| **Qwen2.5-7B 母模型下载** | ✅ **完成**（4分片，14.8GB） |
|
||
| **Qwen2.5-Coder-7B 代码模型下载** | ⏳ **~90%+**（预计30-40分钟完成） |
|
||
| **训练数据** | ✅ 32,642条，all_sft.jsonl 就绪 |
|
||
| **auto_train_[v3.py](http://v3.py) 流水线** | ✅ **已启动**，等待代码模型下载完成后自动开始训练 |
|
||
|
||
### 自动流水线流程
|
||
|
||
1. ⏳ 等待代码模型下载完
|
||
2. ▶️ 母模型全参数SFT（3 epoch, BS=1, GA=8, LR=2e-5, BF16）
|
||
3. 📤 上传COS → models/qwen25-7b-sft/final
|
||
4. ▶️ 代码模型全参数SFT（自动生成脚本）
|
||
5. 📤 上传COS → models/qwen25-coder-7b-sft/final
|
||
|
||
### 监控命令
|
||
|
||
```bash
|
||
# 看流水线日志
|
||
tail -f /root/autodl-tmp/auto_train_v3.log
|
||
|
||
# 看训练日志（母模型训练开始后）
|
||
tail -f /root/autodl-tmp/train_mother.log
|
||
```
|
||
|
||
*铸渊 · ICE-GL-ZY001 · 2026-05-19 17:30* |