shuangyan-notebook/第五域 · Fifth Domain/🔮 第五域 · Fifth Domain · SYS-5TH-0001/冰朔通感语言核系统 · 冰朔个人语言层 · 所有冰朔的东西在这里/1 5B蒸馏模板（Track1）训练记录 · 母模型→Qwen2 5-1 5B · 2026-05- 365fb92f38318154a168cfb88d12c64d.md

1.5B蒸馏模板（Track1）训练记录 · 母模型→Qwen2.5-1.5B · 2026-05-19

状态：✅ 已完成

完成时间：2026-05-19 01:37 CST

主权者：冰朔 TCS-0002∞

执行体：铸渊 ICE-GL-ZY001

---

训练参数

参数	值
教师模型	Qwen2.5-7B SFT（全参数训练后的母模型）
学生模型	Qwen2.5-1.5B-Instruct
训练数据	sft.jsonl (11,470条, ~21M tokens)
Epochs	3
Batch	4 (Gradient Accumulation: 8, 有效batch: 32)
学习率	1e-5
最大长度	2048
蒸馏温度	2.0
Alpha (KL权重)	0.7
精度	BF16
硬件	RTX PRO 6000 Blackwell 96GB × 1 (AutoDL)

训练进度

Epoch	步数	耗时	Loss范围
Ep1	2868/2868	~52min	loss~4.8->4.4
Ep2	2868/2868	~52min	loss~4.5->3.9
Ep3	2868/2868	~52min	loss~4.3->4.0

总耗时：约2小时36分钟

COS存储路径

Bucket: sy-finetune-corpus-1317346199 (ap-guangzhou)

路径：models/qwen25-15b-shuangyan-distill/

文件列表：

• model.safetensors (2.9GB)
• config.json
• tokenizer.json
• tokenizer_config.json
• generation_config.json
• chat_template.jinja

用途

此模型为1.5B蒸馏模板，供大家直接使用。

后续微调计划（线A）：

• 小霜砚微调 ← 用 corpus/shuangyan-1.5b-sft/ 语料
• 在这份模板基础上用霜砚语料微调出小霜砚人格模型

关联

• 零点原核本体频道 · 系统架构层
• D103 完整认知记录

1.5B代码蒸馏模板（Track2）训练记录 · 代码模型→Qwen2.5-1.5B · 2026-05-19