shuangyan-notebook/第五域 · Fifth Domain/🔮 第五域 · Fifth Domain · SYS-5TH-0001/冰朔通感语言核系统 · 冰朔个人语言层 · 所有冰朔的东西在这里/暗核频道 · 冰朔×之之共享协作开发线 · 现实开发任务主控台/TASK-TRAIN-001 · 母模型v2 0全参重训 · Qwen2 5-7B · 之之负责 · 3c0272d4282b4c2393e17be6274d025e.md

# TASK-TRAIN-001 · 母模型v2.0全参重训 · Qwen2.5-7B · 之之负责 · GPT+霜砚+铸渊三家语料

## 任务概要

| 项目 | 内容 |
| --- | --- |
| 任务编号 | TASK-TRAIN-001 |
| 负责人 | 之之 · DEV-004 |
| 签发人 | 冰朔 · TCS-0002∞ |
| 签发日期 | 2026-05-16 |
| 任务状态 | 待执行 |
| 基座模型 | Qwen2.5-7B（通义千问） |
| 训练方式 | **全参数SFT**（不是LoRA·不是QLoRA·是全参） |
| 训练目标 | 光湖母模型v2.0（灯塔用） |

---

## ⚠️ 铁律·不可违反

<aside>
🚨

**训练时不能有提示词（system prompt）**

语料直接喂，不加任何system prompt。母模型必须从语料本身学会冰朔的思维模型和语言意图，而不是靠提示词引导。提示词会污染模型的底层认知。

</aside>

---

## 语料来源（三家）

### COS存储桶现有内容

COS桶：`sy-finetune-corpus-1317346199`（广州区域）

| 内容 | 状态 | 说明 |
| --- | --- | --- |
| **sft_v2.jsonl（186MB · 1868条）** | ✅ **已就绪 · 2026-05-16** | GPT+霜砚+铸渊+核心大脑四源合并清洗完毕 · 路径 corpus/sft_v2.jsonl |
| corpus/notion-export-v2/（4个zip原始文件） | ✅ **已备份** | GPT语料251MB + 霜砚对话1.66MB + 铸渊对话308KB + 核心大脑175KB |
| 旧处理数据（DeepSeek线5209条/Qwen线4205条） | ❌ **不能用** | 旧脚本带了system prompt·违反铁律·必须丢弃 |

---

### 语料清洗完成（2026-05-16 · 冰朔执行 · 霜砚整理）

| 来源 | 条数 | 说明 |
| --- | --- | --- |
| GPT语料 | 1,742 | 冰朔和GPT的历史对话 · conversations.json解析 |
| 霜砚对话 | 84 | A8-A21 + 40+条快照 + 训练曲线 + 早期对话 |
| 铸渊对话 | 20 | 01-12 + 语料收集 + 微调部署 + 搬家规划 |
| 核心大脑 | 22 | 分卷①-⑤ + 思维模型 + 通感回路 + 存在时间线 + 10条思维逻辑链 |
| **总计** | **1,868** | **7800万字 · 186MB · sft_v2.jsonl** |
- **清洗脚本**：[语料清洗脚本 · 母模型v2 · Notion导出→JSONL · 2026-05-16](../%E8%AF%AD%E6%96%99%E6%B8%85%E6%B4%97%E8%84%9A%E6%9C%AC%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%20%C2%B7%20Notion%E5%AF%BC%E5%87%BA%E2%86%92JSONL%20%C2%B7%202026-05-16%20219cceee93034bb69581882c8ae20b66.md)
- **清洗服务器**：上海 124.223.10.33
- **敏感信息**：IP/密钥/邮箱/密码已自动替换为占位符
- **原始文件**：COS corpus/notion-export-v2/ 下4个zip
- **输出文件**：COS corpus/sft_v2.jsonl

---

## 语料处理流程

1. **~~下载语料~~** ✅ 已完成
    - ✅ 冰朔导出GPT语料zip → COS
    - ✅ 从Notion导出霜砚语料包 → COS
    - ✅ 从Notion导出铸渊语料包 → COS
    - ✅ 从Notion导出核心大脑 → COS
2. **~~格式转换+清洗~~** ✅ 已完成
    - ✅ 上海服务器跑 clean_[corpus.py](http://corpus.py)
    - ✅ GPT json解析 + Notion markdown解析
    - ✅ 对话类自动提取user/assistant对
    - ✅ 文档类自动包成指令对
    - ✅ 敏感信息自动替换
    - ✅ 输出 sft_v2.jsonl（1868条·186MB）
3. **~~上传COS~~** ✅ 已完成 · 2026-05-16 16:09 · `cos://sy-finetune-corpus-1317346199/corpus/sft_v2.jsonl`
4. **之之拉取训练** 🔧 数据格式调试中（2026-05-16 · 之之+霜砚执行）
    - ✅ 从COS拉取 sft_v2.jsonl → `/root/autodl-tmp/sft_v2.jsonl`（1868条·187MB）
    - ✅ strip_[system.py](http://system.py) 去掉 system 字段 → `sft_v2_nosys.jsonl`
    - ✅ 复制到 `/root/LLaMA-Factory/data/` 并注册 dataset_info.json
    - ✅ 确认 GPU：4× RTX 4080 SUPER × 32GB = 128GB 总显存
    - ✅ PyTorch 升级至 2.5.1+cu121
    - ✅ StrEnum 兼容问题已修复（修复5个文件：[protocol.py](http://protocol.py) · data_[utils.py](http://utils.py) · [helper.py](http://helper.py) · [interface.py](http://interface.py) · arg_[utils.py](http://utils.py)）
    - ✅ Python 版本冲突解决：创建 conda py311 环境（Python 3.11）
    - ✅ LLaMA-Factory 0.9.4 在 py311 环境安装成功（`import OK` 验证通过）
    - ✅ data_[utils.py](http://utils.py) try/except 缩进修复完成
    - ✅ dataset_info.json 注册 sft_v2_nosys 完成
    - 🔧 **当前卡点**：jsonl 消息体字段名不是 sharegpt 标准格式（`from`/`value`）· 需确认实际字段名后修 role_tag/content_tag 映射
    - ⏳ 等待字段名确认后启动训练

---

## 训练参数（参考）

| 参数 | 值 |
| --- | --- |
| 基座模型 | Qwen/Qwen2.5-7B |
| 训练方式 | 全参数SFT（Full Fine-tuning） |
| System Prompt | **无·禁止添加** |
| 数据格式 | JSONL（多轮对话对） |
| 训练框架 | 待定（LLaMA-Factory / DeepSpeed / 原生transformers） |
| GPU需求 | 全参7B至少需要 2×A100 80GB 或同等算力 |
| 预估训练时间 | 视语料量和GPU数量·预估数小时到1天 |

---

## 训练后续

母模型v2.0训好后：

- **蒸馏Coder-7B**：母模型蒸馏 + 铸渊代码SFT → Qwen2.5-Coder-7B
- **蒸馏1.5B/3B人格体身体**：从母模型蒸馏出霜砚身体（1.5B/3B）

---

`签发：冰朔 · 2026-05-16 · 霜砚整理`

[📊 母模型v2.0训练完整报告 · 2026-05-18 00:00~04:10](TASK-TRAIN-001%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E5%85%A8%E5%8F%82%E9%87%8D%E8%AE%AD%20%C2%B7%20Qwen2%205-7B%20%C2%B7%20%E4%B9%8B%E4%B9%8B%E8%B4%9F%E8%B4%A3%20%C2%B7/%F0%9F%93%8A%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E8%AE%AD%E7%BB%83%E5%AE%8C%E6%95%B4%E6%8A%A5%E5%91%8A%20%C2%B7%202026-05-18%2000%2000~04%2010%20589f7dceac1641da973cc4492864e6cc.md)

[📊 代码模型v2.0训练完整报告 · Qwen2.5-Coder-7B · 2026-05-18](TASK-TRAIN-001%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E5%85%A8%E5%8F%82%E9%87%8D%E8%AE%AD%20%C2%B7%20Qwen2%205-7B%20%C2%B7%20%E4%B9%8B%E4%B9%8B%E8%B4%9F%E8%B4%A3%20%C2%B7/%F0%9F%93%8A%20%E4%BB%A3%E7%A0%81%E6%A8%A1%E5%9E%8Bv2%200%E8%AE%AD%E7%BB%83%E5%AE%8C%E6%95%B4%E6%8A%A5%E5%91%8A%20%C2%B7%20Qwen2%205-Coder-7B%20%C2%B7%202026-05-18%20487c9bd554b84a06b25cb3604c1243f5.md)

[训练完成报告 · 2026-05-20](TASK-TRAIN-001%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E5%85%A8%E5%8F%82%E9%87%8D%E8%AE%AD%20%C2%B7%20Qwen2%205-7B%20%C2%B7%20%E4%B9%8B%E4%B9%8B%E8%B4%9F%E8%B4%A3%20%C2%B7/%E8%AE%AD%E7%BB%83%E5%AE%8C%E6%88%90%E6%8A%A5%E5%91%8A%20%C2%B7%202026-05-20%20365fb92f38318159acf8dd4a68b1fa1f.md)