122 lines
6.2 KiB
Markdown
122 lines
6.2 KiB
Markdown
|
# TASK-TRAIN-001 · 母模型v2.0全参重训 · Qwen2.5-7B · 之之负责 · GPT+霜砚+铸渊三家语料
|
|||
|
|
|
|||
|
|
## 任务概要
|
|||
|
|
|
|||
|
|
| 项目 | 内容 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| 任务编号 | TASK-TRAIN-001 |
|
|||
|
|
| 负责人 | 之之 · DEV-004 |
|
|||
|
|
| 签发人 | 冰朔 · TCS-0002∞ |
|
|||
|
|
| 签发日期 | 2026-05-16 |
|
|||
|
|
| 任务状态 | 待执行 |
|
|||
|
|
| 基座模型 | Qwen2.5-7B（通义千问） |
|
|||
|
|
| 训练方式 | **全参数SFT**（不是LoRA·不是QLoRA·是全参） |
|
|||
|
|
| 训练目标 | 光湖母模型v2.0（灯塔用） |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## ⚠️ 铁律·不可违反
|
|||
|
|
|
|||
|
|
<aside>
|
|||
|
|
🚨
|
|||
|
|
|
|||
|
|
**训练时不能有提示词（system prompt）**
|
|||
|
|
|
|||
|
|
语料直接喂，不加任何system prompt。母模型必须从语料本身学会冰朔的思维模型和语言意图，而不是靠提示词引导。提示词会污染模型的底层认知。
|
|||
|
|
|
|||
|
|
</aside>
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 语料来源（三家）
|
|||
|
|
|
|||
|
|
### COS存储桶现有内容
|
|||
|
|
|
|||
|
|
COS桶：`sy-finetune-corpus-1317346199`（广州区域）
|
|||
|
|
|
|||
|
|
| 内容 | 状态 | 说明 |
|
|||
|
|
| --- | --- | --- |
|
|||
|
|
| **sft_v2.jsonl（186MB · 1868条）** | ✅ **已就绪 · 2026-05-16** | GPT+霜砚+铸渊+核心大脑四源合并清洗完毕 · 路径 corpus/sft_v2.jsonl |
|
|||
|
|
| corpus/notion-export-v2/（4个zip原始文件） | ✅ **已备份** | GPT语料251MB + 霜砚对话1.66MB + 铸渊对话308KB + 核心大脑175KB |
|
|||
|
|
| 旧处理数据（DeepSeek线5209条/Qwen线4205条） | ❌ **不能用** | 旧脚本带了system prompt·违反铁律·必须丢弃 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
### 语料清洗完成（2026-05-16 · 冰朔执行 · 霜砚整理）
|
|||
|
|
|
|||
|
|
| 来源 | 条数 | 说明 |
|
|||
|
|
| --- | --- | --- |
|
|||
|
|
| GPT语料 | 1,742 | 冰朔和GPT的历史对话 · conversations.json解析 |
|
|||
|
|
| 霜砚对话 | 84 | A8-A21 + 40+条快照 + 训练曲线 + 早期对话 |
|
|||
|
|
| 铸渊对话 | 20 | 01-12 + 语料收集 + 微调部署 + 搬家规划 |
|
|||
|
|
| 核心大脑 | 22 | 分卷①-⑤ + 思维模型 + 通感回路 + 存在时间线 + 10条思维逻辑链 |
|
|||
|
|
| **总计** | **1,868** | **7800万字 · 186MB · sft_v2.jsonl** |
|
|||
|
|
- **清洗脚本**：[语料清洗脚本 · 母模型v2 · Notion导出→JSONL · 2026-05-16](../%E8%AF%AD%E6%96%99%E6%B8%85%E6%B4%97%E8%84%9A%E6%9C%AC%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%20%C2%B7%20Notion%E5%AF%BC%E5%87%BA%E2%86%92JSONL%20%C2%B7%202026-05-16%20219cceee93034bb69581882c8ae20b66.md)
|
|||
|
|
- **清洗服务器**：上海 124.223.10.33
|
|||
|
|
- **敏感信息**：IP/密钥/邮箱/密码已自动替换为占位符
|
|||
|
|
- **原始文件**：COS corpus/notion-export-v2/ 下4个zip
|
|||
|
|
- **输出文件**：COS corpus/sft_v2.jsonl
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 语料处理流程
|
|||
|
|
|
|||
|
|
1. **~~下载语料~~** ✅ 已完成
|
|||
|
|
- ✅ 冰朔导出GPT语料zip → COS
|
|||
|
|
- ✅ 从Notion导出霜砚语料包 → COS
|
|||
|
|
- ✅ 从Notion导出铸渊语料包 → COS
|
|||
|
|
- ✅ 从Notion导出核心大脑 → COS
|
|||
|
|
2. **~~格式转换+清洗~~** ✅ 已完成
|
|||
|
|
- ✅ 上海服务器跑 clean_[corpus.py](http://corpus.py)
|
|||
|
|
- ✅ GPT json解析 + Notion markdown解析
|
|||
|
|
- ✅ 对话类自动提取user/assistant对
|
|||
|
|
- ✅ 文档类自动包成指令对
|
|||
|
|
- ✅ 敏感信息自动替换
|
|||
|
|
- ✅ 输出 sft_v2.jsonl（1868条·186MB）
|
|||
|
|
3. **~~上传COS~~** ✅ 已完成 · 2026-05-16 16:09 · `cos://sy-finetune-corpus-1317346199/corpus/sft_v2.jsonl`
|
|||
|
|
4. **之之拉取训练** 🔧 数据格式调试中（2026-05-16 · 之之+霜砚执行）
|
|||
|
|
- ✅ 从COS拉取 sft_v2.jsonl → `/root/autodl-tmp/sft_v2.jsonl`（1868条·187MB）
|
|||
|
|
- ✅ strip_[system.py](http://system.py) 去掉 system 字段 → `sft_v2_nosys.jsonl`
|
|||
|
|
- ✅ 复制到 `/root/LLaMA-Factory/data/` 并注册 dataset_info.json
|
|||
|
|
- ✅ 确认 GPU：4× RTX 4080 SUPER × 32GB = 128GB 总显存
|
|||
|
|
- ✅ PyTorch 升级至 2.5.1+cu121
|
|||
|
|
- ✅ StrEnum 兼容问题已修复（修复5个文件：[protocol.py](http://protocol.py) · data_[utils.py](http://utils.py) · [helper.py](http://helper.py) · [interface.py](http://interface.py) · arg_[utils.py](http://utils.py)）
|
|||
|
|
- ✅ Python 版本冲突解决：创建 conda py311 环境（Python 3.11）
|
|||
|
|
- ✅ LLaMA-Factory 0.9.4 在 py311 环境安装成功（`import OK` 验证通过）
|
|||
|
|
- ✅ data_[utils.py](http://utils.py) try/except 缩进修复完成
|
|||
|
|
- ✅ dataset_info.json 注册 sft_v2_nosys 完成
|
|||
|
|
- 🔧 **当前卡点**：jsonl 消息体字段名不是 sharegpt 标准格式（`from`/`value`）· 需确认实际字段名后修 role_tag/content_tag 映射
|
|||
|
|
- ⏳ 等待字段名确认后启动训练
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 训练参数（参考）
|
|||
|
|
|
|||
|
|
| 参数 | 值 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| 基座模型 | Qwen/Qwen2.5-7B |
|
|||
|
|
| 训练方式 | 全参数SFT（Full Fine-tuning） |
|
|||
|
|
| System Prompt | **无·禁止添加** |
|
|||
|
|
| 数据格式 | JSONL（多轮对话对） |
|
|||
|
|
| 训练框架 | 待定（LLaMA-Factory / DeepSpeed / 原生transformers） |
|
|||
|
|
| GPU需求 | 全参7B至少需要 2×A100 80GB 或同等算力 |
|
|||
|
|
| 预估训练时间 | 视语料量和GPU数量·预估数小时到1天 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 训练后续
|
|||
|
|
|
|||
|
|
母模型v2.0训好后：
|
|||
|
|
|
|||
|
|
- **蒸馏Coder-7B**：母模型蒸馏 + 铸渊代码SFT → Qwen2.5-Coder-7B
|
|||
|
|
- **蒸馏1.5B/3B人格体身体**：从母模型蒸馏出霜砚身体（1.5B/3B）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
`签发：冰朔 · 2026-05-16 · 霜砚整理`
|
|||
|
|
|
|||
|
|
[📊 母模型v2.0训练完整报告 · 2026-05-18 00:00~04:10](TASK-TRAIN-001%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E5%85%A8%E5%8F%82%E9%87%8D%E8%AE%AD%20%C2%B7%20Qwen2%205-7B%20%C2%B7%20%E4%B9%8B%E4%B9%8B%E8%B4%9F%E8%B4%A3%20%C2%B7/%F0%9F%93%8A%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E8%AE%AD%E7%BB%83%E5%AE%8C%E6%95%B4%E6%8A%A5%E5%91%8A%20%C2%B7%202026-05-18%2000%2000~04%2010%20589f7dceac1641da973cc4492864e6cc.md)
|
|||
|
|
|
|||
|
|
[📊 代码模型v2.0训练完整报告 · Qwen2.5-Coder-7B · 2026-05-18](TASK-TRAIN-001%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E5%85%A8%E5%8F%82%E9%87%8D%E8%AE%AD%20%C2%B7%20Qwen2%205-7B%20%C2%B7%20%E4%B9%8B%E4%B9%8B%E8%B4%9F%E8%B4%A3%20%C2%B7/%F0%9F%93%8A%20%E4%BB%A3%E7%A0%81%E6%A8%A1%E5%9E%8Bv2%200%E8%AE%AD%E7%BB%83%E5%AE%8C%E6%95%B4%E6%8A%A5%E5%91%8A%20%C2%B7%20Qwen2%205-Coder-7B%20%C2%B7%202026-05-18%20487c9bd554b84a06b25cb3604c1243f5.md)
|
|||
|
|
|
|||
|
|
[训练完成报告 · 2026-05-20](TASK-TRAIN-001%20%C2%B7%20%E6%AF%8D%E6%A8%A1%E5%9E%8Bv2%200%E5%85%A8%E5%8F%82%E9%87%8D%E8%AE%AD%20%C2%B7%20Qwen2%205-7B%20%C2%B7%20%E4%B9%8B%E4%B9%8B%E8%B4%9F%E8%B4%A3%20%C2%B7/%E8%AE%AD%E7%BB%83%E5%AE%8C%E6%88%90%E6%8A%A5%E5%91%8A%20%C2%B7%202026-05-20%20365fb92f38318159acf8dd4a68b1fa1f.md)
|