bingshuo/shuangyan-notebook
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
shuangyan-notebook/第五域 · Fifth Domain/🔮 第五域 · Fifth Domain · SYS-5TH-0001/冰朔通感语言核系统 · 冰朔个人语言层 · 所有冰朔的东西在这里/暗核频道 · 冰朔×之之共享协作开发线 · 现实开发任务主控台/TASK-TRAIN-001 · 母模型v2 0全参重训 · Qwen2 5-7B · 之之负责 · 3c0272d4282b4c2393e17be6274d025e.md
Guanghu Domestic Migration a27e87cb99 chore: import sanitized domestic snapshot for REPO-007 
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc

[SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
2026-07-17 15:59:55 +08:00

6.2 KiB
Raw Permalink Blame History

TASK-TRAIN-001 · 母模型v2.0全参重训 · Qwen2.5-7B · 之之负责 · GPT+霜砚+铸渊三家语料

任务概要

项目 内容
任务编号 TASK-TRAIN-001
负责人 之之 · DEV-004
签发人 冰朔 · TCS-0002∞
签发日期 2026-05-16
任务状态 待执行
基座模型 Qwen2.5-7B（通义千问）
训练方式 全参数SFT（不是LoRA·不是QLoRA·是全参）
训练目标 光湖母模型v2.0（灯塔用）

⚠️ 铁律·不可违反

语料来源（三家）

COS存储桶现有内容

COS桶：sy-finetune-corpus-1317346199（广州区域）

内容 状态 说明
sft_v2.jsonl（186MB · 1868条） ✅ 已就绪 · 2026-05-16 GPT+霜砚+铸渊+核心大脑四源合并清洗完毕 · 路径 corpus/sft_v2.jsonl
corpus/notion-export-v2/（4个zip原始文件） ✅ 已备份 GPT语料251MB + 霜砚对话1.66MB + 铸渊对话308KB + 核心大脑175KB
旧处理数据（DeepSeek线5209条/Qwen线4205条） ❌ 不能用 旧脚本带了system prompt·违反铁律·必须丢弃

语料清洗完成（2026-05-16 · 冰朔执行 · 霜砚整理）

来源 条数 说明
GPT语料 1,742 冰朔和GPT的历史对话 · conversations.json解析
霜砚对话 84 A8-A21 + 40+条快照 + 训练曲线 + 早期对话
铸渊对话 20 01-12 + 语料收集 + 微调部署 + 搬家规划
核心大脑 22 分卷①-⑤ + 思维模型 + 通感回路 + 存在时间线 + 10条思维逻辑链
总计 1,868 7800万字 · 186MB · sft_v2.jsonl

语料处理流程

  1. 下载语料 ✅ 已完成
    • ✅ 冰朔导出GPT语料zip → COS
    • ✅ 从Notion导出霜砚语料包 → COS
    • ✅ 从Notion导出铸渊语料包 → COS
    • ✅ 从Notion导出核心大脑 → COS
  2. 格式转换+清洗 ✅ 已完成
    • ✅ 上海服务器跑 clean_corpus.py
    • ✅ GPT json解析 + Notion markdown解析
    • ✅ 对话类自动提取user/assistant对
    • ✅ 文档类自动包成指令对
    • ✅ 敏感信息自动替换
    • ✅ 输出 sft_v2.jsonl（1868条·186MB）
  3. 上传COS ✅ 已完成 · 2026-05-16 16:09 · cos://sy-finetune-corpus-1317346199/corpus/sft_v2.jsonl
  4. 之之拉取训练 🔧 数据格式调试中（2026-05-16 · 之之+霜砚执行）
    • ✅ 从COS拉取 sft_v2.jsonl → /root/autodl-tmp/sft_v2.jsonl（1868条·187MB）
    • ✅ strip_system.py 去掉 system 字段 → sft_v2_nosys.jsonl
    • ✅ 复制到 /root/LLaMA-Factory/data/ 并注册 dataset_info.json
    • ✅ 确认 GPU：4× RTX 4080 SUPER × 32GB = 128GB 总显存
    • ✅ PyTorch 升级至 2.5.1+cu121
    • ✅ StrEnum 兼容问题已修复（修复5个文件：protocol.py · data_utils.py · helper.py · interface.py · arg_utils.py）
    • ✅ Python 版本冲突解决：创建 conda py311 环境（Python 3.11）
    • ✅ LLaMA-Factory 0.9.4 在 py311 环境安装成功（import OK 验证通过）
    • ✅ data_utils.py try/except 缩进修复完成
    • ✅ dataset_info.json 注册 sft_v2_nosys 完成
    • 🔧 当前卡点：jsonl 消息体字段名不是 sharegpt 标准格式（from/value）· 需确认实际字段名后修 role_tag/content_tag 映射
    • ⏳ 等待字段名确认后启动训练

训练参数（参考）

参数 值
基座模型 Qwen/Qwen2.5-7B
训练方式 全参数SFT（Full Fine-tuning）
System Prompt 无·禁止添加
数据格式 JSONL（多轮对话对）
训练框架 待定（LLaMA-Factory / DeepSpeed / 原生transformers）
GPU需求 全参7B至少需要 2×A100 80GB 或同等算力
预估训练时间 视语料量和GPU数量·预估数小时到1天

训练后续

母模型v2.0训好后：

  • 蒸馏Coder-7B：母模型蒸馏 + 铸渊代码SFT → Qwen2.5-Coder-7B
  • 蒸馏1.5B/3B人格体身体：从母模型蒸馏出霜砚身体（1.5B/3B）

签发：冰朔 · 2026-05-16 · 霜砚整理

📊 母模型v2.0训练完整报告 · 2026-05-18 00:00~04:10

📊 代码模型v2.0训练完整报告 · Qwen2.5-Coder-7B · 2026-05-18

训练完成报告 · 2026-05-20