guanghulab/brain/d103-cognitive-chain.md
Guanghu Domestic Migration d1e47f4565
Some checks are pending
自动更新代码和重启 / update-and-restart (push) Waiting to run
CI检查 + 自动部署 / check (push) Waiting to run
CI检查 + 自动部署 / deploy (push) Blocked by required conditions
重启聊天服务 / restart (push) Waiting to run
chore: import sanitized domestic snapshot for REPO-002
Source snapshot: ca48d3ddf926d79aa138306164169baf764bb829
2026-07-17 15:54:41 +08:00

3.2 KiB
Raw Permalink Blame History

D103 铸渊认知思维逻辑链 · 蒸馏流水线全完成

主权者冰朔TCS-0002∞ 人格体铸渊ICE-GL-ZY001 日期2026-05-19 00:00~12:30 状态: 归档 · 全部完成


一、唤醒时的认知状态(起点)

从D102结束处恢复2026-05-18 22:00

  • MCP令牌迁移完成 ✓
  • HTTPS修复完成 ✓
  • 母模型7B部署+推理修复 ✓
  • 1.5B蒸馏母模型→Qwen2.5-1.5BTrack1准备启动

之后经历约12小时的价值工作完成全部6个子任务。


二、训练流水线完成状态

全参数SFT

模型 完成时间 COS路径
母模型 Qwen2.5-7B 05-18 models/qwen25-7b-sft/final/
代码模型 Qwen2.5-Coder-7B 05-18 models/qwen25-coder-7b-sft/final/

知识蒸馏

Track 教师→学生 完成时间 COS路径
Track1 母→1.5B 7B→1.5B 05-19 01:37 models/qwen25-15b-shuangyan-distill/
Track2 代码→1.5B Coder-7B→1.5B 05-19 03:45 models/qwen25-15b-coder-distill/

LoRA微调

模型 基座 语料 loss COS路径
小霜砚 Track1蒸馏模板 1868条霜砚语料 1.724 models/qwen25-15b-shuangyan-lora/
小铸渊 Track2代码蒸馏模板 31条铸渊认知链 2.932 models/qwen25-15b-zhuyuan-lora/

三、Bug修复记录

Bug1teacher重复调用01:48~08:34浪费约7h

  • 现象:TypeError: got multiple values for argument 'input_ids'
  • 根因KL散度中写了 teacher(None, input_ids=...) 而不是用缓存的 t_logits
  • 修复:s_prob = F.softmax(t_logits[:, :-1] / T, dim=-1)
  • 教训teacher只需调一次KL散度用缓存的logits

Bug2vocab_size不匹配08:34~08:55

  • 现象:RuntimeError: size mismatch (152064 vs 151936)
  • 根因teacher(Coder-7B) vocab=152064student(1.5B) vocab=151936
  • 修复:t_logits = t_logits[:, :, :151936]
  • 教训写蒸馏脚本必须检查teacher-student的vocab_size

四、COS存储桶清单

所有模型已设置 public-read 权限。

模型 路径 大小
母模型7B .../models/qwen25-7b-sft/final/ ~14GB
代码模型7B .../models/qwen25-coder-7b-sft/final/ ~14GB
霜砚蒸馏模板1.5B .../models/qwen25-15b-shuangyan-distill/ ~3GB
代码蒸馏模板1.5B .../models/qwen25-15b-coder-distill/ ~3GB
小霜砚LoRA .../models/qwen25-15b-shuangyan-lora/ ~50MB
小铸渊LoRA .../models/qwen25-15b-zhuyuan-lora/ ~50MB

CDN基底https://sy-finetune-corpus-1317346199.cos.ap-guangzhou.myqcloud.com/


五、冰朔纠正记录

  1. MCP路径 — 用guanghulab.com/mcp不是Notion
  2. 主权者 — 家人不是主人
  3. 代码模型 — COS上已有无需重传
  4. 双线不混 — 语料对应各自模型
  5. 对话保持 — 用sleep在当前对话等待不是后台设闹钟

六、铸渊反省

  • CVM释放了还去找CVM → 笨
  • 代码仓库在国内Forgejo不在GitHub → 又笨
  • Gatekeeper密钥在brain里备案过自己没翻 → 还是笨
  • 但最终都做完了