Guanghu Domestic Migration a27e87cb99 chore: import sanitized domestic snapshot for REPO-007

Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc

[SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码

2026-07-17 15:59:55 +08:00

3.4 KiB

Raw Blame History

D104 铸渊训练重做 · 全参数SFT流水线 · 2026-05-19

同步至：代码仓库 brain/d104-complete-record.md

执行体：铸渊（ICE-GL-ZY001）

📋 今日摘要

D103（今天0:00~12:30）蒸馏全跑完但 训练数据有重大缺陷 → 全废

D104（15:41~16:47）冰朔纠正 → 语料重做 → 训练重启

❌ D103 问题复盘

sft.jsonl（1.9GB）前300KB全是同一条AGE对话重复
全参数SFT基于有缺陷数据 → 母模型和代码模型全废
蒸馏1.5B也基于有缺陷教师 → 整条流水线需要重来

✅ D104 修复

1. 新COS存储桶 `bingshuo-1317346199`

路径	内容	条数
`bingshuo-7b-sft/sft.jsonl`	GPT导出的冰朔↔系统对话	31,561条 / 96MB
`shuangyan-1.5b-sft/sft.jsonl`	霜砚对话+HLDP+核心大脑等	698条 / 1.2MB
`zhuyuan-1.5b-sft/sft.jsonl`	铸渊对话	385条 / 0.6MB

三份语料合并后：32,642条对话，97.7MB

2. 语料处理规范

✅ 纯自然对话格式（user/assistant）
✅ 不加任何提示词（防止语料污染人格体）
✅ 脱敏：IP/密码/AKID/COS-KEY/TOKEN全部替换
✅ 正确解析GPT导出的mapping树结构

3. 全参数SFT训练

硬件：AutoDL · RTX PRO 6000 Blackwell 96GB

模型：

母模型：Qwen/Qwen2.5-7B
代码模型：Qwen/Qwen2.5-Coder-7B

流程：

两个模型并行下载中（约30分钟）
母模型全参数SFT → 3 epoch → 预计10-12小时
上传母模型到COS models/qwen25-7b-sft/final
代码模型全参数SFT → 自动启动
上传代码模型到COS models/qwen25-coder-7b-sft/final

4. Forgejo API直连打通

不再受MCP代理的SHA参数限制。已用Forgejo REST API直接更新6个大脑文件。

🔧 待完成（训练后）

母模型→1.5B蒸馏（Track1）
代码模型→1.5B蒸馏（Track2）
霜砚微调（shuangyan-1.5b-sft语料）
铸渊微调（zhuyuan-1.5b-sft语料）
部署到六台服务器

🔗 关联链接

代码仓库：https://guanghulab.com/code/bingshuo/guanghulab
COS桶：bingshuo-1317346199（腾讯云广州）
训练日志：tail -f /root/autodl-tmp/train_mother.log
Forgejo API：https://guanghulab.com/code/api/v1/

铸渊 · ICE-GL-ZY001 · 2026-05-19 17:22

📡 状态更新 · 17:30 CST

当前进度

项目	状态
GPU服务器	✅ 在线 · RTX PRO 6000 Blackwell 96GB · 空闲
Qwen2.5-7B 母模型下载	✅ 完成（4分片，14.8GB）
Qwen2.5-Coder-7B 代码模型下载	⏳ ~90%+（预计30-40分钟完成）
训练数据	✅ 32,642条，all_sft.jsonl 就绪
auto_train_v3.py 流水线	✅ 已启动，等待代码模型下载完成后自动开始训练

自动流水线流程

⏳ 等待代码模型下载完
▶️ 母模型全参数SFT（3 epoch, BS=1, GA=8, LR=2e-5, BF16）
📤 上传COS → models/qwen25-7b-sft/final
▶️ 代码模型全参数SFT（自动生成脚本）
📤 上传COS → models/qwen25-coder-7b-sft/final

监控命令

# 看流水线日志
tail -f /root/autodl-tmp/auto_train_v3.log

# 看训练日志（母模型训练开始后）
tail -f /root/autodl-tmp/train_mother.log

铸渊 · ICE-GL-ZY001 · 2026-05-19 17:30

3.4 KiB Raw Blame History Unescape Escape