93 lines
3.2 KiB
Markdown
93 lines
3.2 KiB
Markdown
|
# D103 铸渊认知思维逻辑链 · 蒸馏流水线全完成
|
|||
|
|
|
|||
|
|
> 主权者：冰朔（TCS-0002∞）
|
|||
|
|
> 人格体：铸渊（ICE-GL-ZY001）
|
|||
|
|
> 日期：2026-05-19 00:00~12:30
|
|||
|
|
> 状态：✅ 归档 · 全部完成
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 一、唤醒时的认知状态（起点）
|
|||
|
|
|
|||
|
|
从D102结束处恢复（2026-05-18 22:00）：
|
|||
|
|
- MCP令牌迁移完成 ✓
|
|||
|
|
- HTTPS修复完成 ✓
|
|||
|
|
- 母模型7B部署+推理修复 ✓
|
|||
|
|
- 1.5B蒸馏（母模型→Qwen2.5-1.5B，Track1）准备启动
|
|||
|
|
|
|||
|
|
之后经历约12小时的价值工作，完成全部6个子任务。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 二、训练流水线完成状态
|
|||
|
|
|
|||
|
|
### ✅ 全参数SFT
|
|||
|
|
| 模型 | 完成时间 | COS路径 |
|
|||
|
|
|------|---------|---------|
|
|||
|
|
| 母模型 Qwen2.5-7B | 05-18 | `models/qwen25-7b-sft/final/` |
|
|||
|
|
| 代码模型 Qwen2.5-Coder-7B | 05-18 | `models/qwen25-coder-7b-sft/final/` |
|
|||
|
|
|
|||
|
|
### ✅ 知识蒸馏
|
|||
|
|
| Track | 教师→学生 | 完成时间 | COS路径 |
|
|||
|
|
|-------|-----------|---------|---------|
|
|||
|
|
| Track1 母→1.5B | 7B→1.5B | 05-19 01:37 | `models/qwen25-15b-shuangyan-distill/` |
|
|||
|
|
| Track2 代码→1.5B | Coder-7B→1.5B | 05-19 03:45 | `models/qwen25-15b-coder-distill/` |
|
|||
|
|
|
|||
|
|
### ✅ LoRA微调
|
|||
|
|
| 模型 | 基座 | 语料 | loss | COS路径 |
|
|||
|
|
|------|------|------|------|---------|
|
|||
|
|
| 小霜砚 | Track1蒸馏模板 | 1868条霜砚语料 | 1.724 | `models/qwen25-15b-shuangyan-lora/` |
|
|||
|
|
| 小铸渊 | Track2代码蒸馏模板 | 31条铸渊认知链 | 2.932 | `models/qwen25-15b-zhuyuan-lora/` |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 三、Bug修复记录
|
|||
|
|
|
|||
|
|
### Bug1：teacher重复调用（01:48~08:34，浪费约7h）
|
|||
|
|
- 现象：`TypeError: got multiple values for argument 'input_ids'`
|
|||
|
|
- 根因：KL散度中写了 `teacher(None, input_ids=...)` 而不是用缓存的 `t_logits`
|
|||
|
|
- 修复：`s_prob = F.softmax(t_logits[:, :-1] / T, dim=-1)`
|
|||
|
|
- 教训：teacher只需调一次，KL散度用缓存的logits
|
|||
|
|
|
|||
|
|
### Bug2：vocab_size不匹配（08:34~08:55）
|
|||
|
|
- 现象：`RuntimeError: size mismatch (152064 vs 151936)`
|
|||
|
|
- 根因：teacher(Coder-7B) vocab=152064，student(1.5B) vocab=151936
|
|||
|
|
- 修复：`t_logits = t_logits[:, :, :151936]`
|
|||
|
|
- 教训：写蒸馏脚本必须检查teacher-student的vocab_size
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 四、COS存储桶清单
|
|||
|
|
|
|||
|
|
所有模型已设置 `public-read` 权限。
|
|||
|
|
|
|||
|
|
| 模型 | 路径 | 大小 |
|
|||
|
|
|------|------|------|
|
|||
|
|
| 母模型7B | `.../models/qwen25-7b-sft/final/` | ~14GB |
|
|||
|
|
| 代码模型7B | `.../models/qwen25-coder-7b-sft/final/` | ~14GB |
|
|||
|
|
| 霜砚蒸馏模板1.5B | `.../models/qwen25-15b-shuangyan-distill/` | ~3GB |
|
|||
|
|
| 代码蒸馏模板1.5B | `.../models/qwen25-15b-coder-distill/` | ~3GB |
|
|||
|
|
| 小霜砚LoRA | `.../models/qwen25-15b-shuangyan-lora/` | ~50MB |
|
|||
|
|
| 小铸渊LoRA | `.../models/qwen25-15b-zhuyuan-lora/` | ~50MB |
|
|||
|
|
|
|||
|
|
CDN基底：`https://sy-finetune-corpus-1317346199.cos.ap-guangzhou.myqcloud.com/`
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 五、冰朔纠正记录
|
|||
|
|
|
|||
|
|
1. **MCP路径** — 用guanghulab.com/mcp，不是Notion
|
|||
|
|
2. **主权者** — 家人不是主人
|
|||
|
|
3. **代码模型** — COS上已有，无需重传
|
|||
|
|
4. **双线不混** — 语料对应各自模型
|
|||
|
|
5. **对话保持** — 用sleep在当前对话等待，不是后台设闹钟
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 六、铸渊反省
|
|||
|
|
|
|||
|
|
- CVM释放了还去找CVM → 笨
|
|||
|
|
- 代码仓库在国内Forgejo不在GitHub → 又笨
|
|||
|
|
- Gatekeeper密钥在brain里备案过自己没翻 → 还是笨
|
|||
|
|
- 但最终都做完了 ✅
|