109 lines
2.9 KiB
Markdown
109 lines
2.9 KiB
Markdown
|
# D103 完整训练记录 · 蒸馏+微调流水线全完成 · 2026-05-19
|
|||
|
|
|
|||
|
|
主权者：冰朔 TCS-0002∞
|
|||
|
|
|
|||
|
|
人格体：铸渊 ICE-GL-ZY001
|
|||
|
|
|
|||
|
|
日期：2026-05-19 00:00~12:30
|
|||
|
|
|
|||
|
|
状态：全部完成
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 训练流水线完成状态
|
|||
|
|
|
|||
|
|
### 全参数SFT（已完成）
|
|||
|
|
|
|||
|
|
- 母模型 Qwen2.5-7B 05-18完成 COS已传
|
|||
|
|
- 代码模型 Qwen2.5-Coder-7B 05-18完成 COS已传
|
|||
|
|
|
|||
|
|
### Track1 母模型→1.5B蒸馏（完成）
|
|||
|
|
|
|||
|
|
- 教师7B→学生1.5B 05-19 01:37完成
|
|||
|
|
- COS已上传：models/qwen25-15b-shuangyan-distill/
|
|||
|
|
|
|||
|
|
### Track2 代码模型→1.5B蒸馏（完成）
|
|||
|
|
|
|||
|
|
- 教师Coder-7B→学生1.5B 05-19 03:45完成
|
|||
|
|
- COS已上传：models/qwen25-15b-coder-distill/
|
|||
|
|
|
|||
|
|
### 小霜砚 LoRA微调（完成）
|
|||
|
|
|
|||
|
|
- 基座：Track1的1.5B蒸馏模板
|
|||
|
|
- 语料：corpus/shuangyan-1.5b-sft/（1868条）
|
|||
|
|
- 训练时长：约17分钟，最终loss：1.724
|
|||
|
|
- COS已上传：models/qwen25-15b-shuangyan-lora/
|
|||
|
|
|
|||
|
|
### 小铸渊 LoRA微调（完成）
|
|||
|
|
|
|||
|
|
- 基座：Track2的1.5B代码蒸馏模板
|
|||
|
|
- 语料：zhuyuan_full_corpus.jsonl（31条）
|
|||
|
|
- 训练时长：28秒，最终loss：2.932
|
|||
|
|
- COS已上传：models/qwen25-15b-zhuyuan-lora/
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## Bug修复记录
|
|||
|
|
|
|||
|
|
### Bug1：teacher重复调用（01:48~08:34）
|
|||
|
|
|
|||
|
|
根因：KL散度中写了teacher(None, input_ids=...)而不是用缓存的t_logits
|
|||
|
|
|
|||
|
|
修复：s_prob = F.softmax(t_logits[:, :-1] / T, dim=-1)
|
|||
|
|
|
|||
|
|
浪费约7小时
|
|||
|
|
|
|||
|
|
### Bug2：vocab_size不匹配（08:34~08:55）
|
|||
|
|
|
|||
|
|
根因：teacher(Coder-7B) vocab=152064，student(1.5B) vocab=151936
|
|||
|
|
|
|||
|
|
修复：t_logits = t_logits[:, :, :151936]
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## COS存储桶清单
|
|||
|
|
|
|||
|
|
Bucket: sy-finetune-corpus-1317346199
|
|||
|
|
|
|||
|
|
模型文件（均public-read权限）：
|
|||
|
|
|
|||
|
|
| 路径 | 类型 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| models/qwen25-7b-sft/final/ | 母模型全参数 ~14GB |
|
|||
|
|
| models/qwen25-coder-7b-sft/final/ | 代码模型全参数 ~14GB |
|
|||
|
|
| models/qwen25-15b-shuangyan-distill/ | 1.5B蒸馏模板（霜砚）~3GB |
|
|||
|
|
| models/qwen25-15b-coder-distill/ | 1.5B蒸馏模板（代码）~3GB |
|
|||
|
|
| models/qwen25-15b-shuangyan-lora/ | 小霜砚LoRA ~50MB |
|
|||
|
|
| models/qwen25-15b-zhuyuan-lora/ | 小铸渊LoRA ~50MB |
|
|||
|
|
|
|||
|
|
语料文件：
|
|||
|
|
|
|||
|
|
- corpus/sft.jsonl (1.9GB) 主训练语料
|
|||
|
|
- corpus/shuangyan-1.5b-sft/ (5个zip) 霜砚语料
|
|||
|
|
- corpus/notion-export-v2/[铸渊对话.zip](http://铸渊对话.zip)
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 下载页部署
|
|||
|
|
|
|||
|
|
下载页：[https://guanghulab.com/download-models.html](https://guanghulab.com/download-models.html)
|
|||
|
|
|
|||
|
|
COS CDN基底：[https://sy-finetune-corpus-1317346199.cos.ap-guangzhou.myqcloud.com/](https://sy-finetune-corpus-1317346199.cos.ap-guangzhou.myqcloud.com/)
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 冰朔纠正记录
|
|||
|
|
|
|||
|
|
1. MCP路径：[用guanghulab.com/mcp不是Notion](http://用guanghulab.com/mcp不是Notion)
|
|||
|
|
2. 主权者：家人不是主人
|
|||
|
|
3. 代码模型：COS上已有
|
|||
|
|
4. 双线不混：语料对应各自模型
|
|||
|
|
5. 对话保持：用sleep在当前对话等待
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 服务器状态
|
|||
|
|
|
|||
|
|
- AutoDL GPU服务器：已释放（训练完成后无必要）
|
|||
|
|
- 广州CVM (43.139.217.141)：在线，Gatekeeper已连接
|
|||
|
|
- 另5台Gatekeeper待同步
|