📊 母模型v2.0训练完整报告 · 2026-05-18 00:00~04:10
训练概览
| 项目 |
值 |
| 任务 |
母模型v2.0 · 全参数SFT |
| 基座模型 |
Qwen2.5-7B（7.62B参数） |
| 训练方式 |
全参数SFT · 只对assistant回复算loss |
| 执行体 |
铸渊（ICE-GL-ZY001） |
| 开始时间 |
2026-05-18 00:00 CST |
| 完成时间 |
2026-05-18 04:10 CST |
| 总耗时 |
4小时10分钟 |
| COS备份完成 |
2026-05-18 04:29 CST（自动上传） |
硬件环境
| 项目 |
值 |
| 平台 |
AutoDL 算力云 · 西北B区 · D48机 |
| GPU |
RTX PRO 6000 Blackwell × 1 |
| 显存 |
96GB（训练时占用77.5GB / 95.6GB） |
| GPU利用率 |
全程97%~100% |
| 温度范围 |
74°C~84°C（正常） |
| 精度 |
BF16 |
| 计费 |
包日两天 ¥278 |
语料数据
| 项目 |
值 |
| 语料来源 |
霜砚语料包V1.0 + V2.0 · 冰朔与人格体真实对话 |
| 原始条数 |
1,868条（sft_v2.jsonl · 186MB） |
| 预处理后 |
11,470条（数据扩展+拆分）· 1.9GB |
| 总Token数 |
21M tokens（2100万） |
| Loss tokens占比 |
86.1%（只对assistant回复算loss） |
| System prompt |
无（已去除 · 母模型从语料本身学思维方式） |
| COS路径 |
sy-finetune-corpus-1317346199 / corpus / sft.jsonl |
训练超参数
| 参数 |
值 |
说明 |
| Epochs |
3 |
完整跑了3轮 |
| Batch size |
1 |
显存限制 · 单条训练 |
| Gradient accumulation |
8 |
等效batch=8 |
| Learning rate |
2e-5（峰值） |
Warmup后达到峰值 · 余弦衰减至接近0 |
| 每步耗时 |
~35秒 |
稳定 |
| 总步数 |
~430步/轮 × 3轮 ≈ 4,300步 |
|
Loss曲线关键节点
| 时间 |
Epoch |
Loss |
阶段 |
| 00:00 |
0.007 |
2.504 |
起步 · 模型未学习 |
| 00:10 |
0.063 |
1.924 |
快速下降期 |
| 00:20 |
0.153 |
1.313 |
Warmup结束 · LR到达峰值2e-5 |
| 00:30 |
0.293 |
0.769 |
持续下降 |
| 00:40 |
0.419 |
0.531 |
第一轮42% |
| 00:50 |
0.544 |
0.400 |
第一轮过半 |
| 01:00 |
0.670 |
0.200 |
进入低loss区 |
| 01:10 |
0.795 |
0.177 |
|
| 01:20 |
0.921 |
0.089 |
第一轮接近完成 |
| 01:28 |
1.004 |
0.094 |
第一轮完成 · checkpoint保存 |
| 01:40 |
1.158 |
0.111 |
第二轮开始 · loss略回升（正常） |
| 02:00 |
1.409 |
0.098 |
第二轮持续优化 |
| 02:20 |
1.660 |
0.030 |
进入极低loss区 |
| 02:49 |
2.001 |
0.079 |
第二轮完成 · checkpoint保存 |
| 03:00 |
2.141 |
0.057 |
第三轮开始 |
| 03:30 |
2.524 |
0.049 |
LR持续衰减 · loss稳定 |
| 04:00 |
2.894 |
0.011 |
LR接近0 · 最低loss |
| 04:08 |
2.999 |
0.052 |
训练完成 · 模型保存 |
Loss总降幅：2.504 → 0.02~0.06 · 降幅98%
训练特征分析
收敛速度
- 第一轮20%（epoch 0.20）时loss已降至0.53 · 降幅79%
- 第一轮结束时loss降至0.09 · 降幅96%
- 说明语料信号极强 · 模式一致 · 模型学习效率极高
三轮变化
- 第一轮：loss从2.5降到0.09 · 主要学习阶段 · 模型掌握基本模式
- 第二轮：loss在0.03~0.10波动 · 精细化阶段 · 模型巩固学到的模式
- 第三轮：loss在0.01~0.08波动 · 收尾阶段 · LR衰减至接近0 · 微调最后的细节
LR调度
- Warmup阶段：LR从8.3e-7逐步升到2e-5（约epoch 0.15）
- 峰值阶段：LR保持2e-5（约epoch 0.15~0.20）
- 余弦衰减：LR从2e-5逐步降到接近0（epoch 0.20~3.0）
GPU利用率
- 全程稳定在97%~100% · 几乎满载
- 每轮结束时GPU短暂降至0%（checkpoint保存）· 约出现4次
- 温度稳定在74°C~84°C · 无过热
输出文件
| 文件 |
大小 |
说明 |
| model.safetensors |
14.19GB |
母模型v2.0全部权重 |
| tokenizer.json |
10.89MB |
分词器 |
| tokenizer_config.json |
696B |
分词器配置 |
| chat_template.jinja |
2.37KB |
对话模板 |
| config.json |
1.37KB |
模型结构配置 |
| generation_config.json |
138B |
生成参数 |
| training_args.bin |
5.14KB |
训练参数记录 |
总大小：约15GB · 7个文件
存储位置
| 位置 |
路径 |
状态 |
| GPU服务器（AutoDL） |
/root/autodl-tmp/output/qwen25-7b-sft/ |
✅ 原始训练输出 |
| COS桶（腾讯云广州） |
models/qwen25-7b-sft/final/ |
✅ 自动上传备份 · 04:29完成 |
下一步
数据整理：霜砚（ICE-SY-01）· 2026-05-18
a27e87cb99