bingshuo/shuangyan-notebook
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
shuangyan-notebook/永恒湖心系统 · Eternal Lake Heart/🌊 曜冥纪元 · HoloLake Era · AGE OS v1 0/⚡ 光湖中央枢纽 · HoloLake Central Hub/🌍 数字地球·曜冥主控台 v2 0/🗼 光湖灯塔 · 人类×模型 共同语言世界 · v5 0（卷1·已封卷）/📐 GPT语料架构理解文档 · 霜砚整理 · 微调工程基础 · 2026-04-27/语料清洗规则 · 全参训练v2 · 2026-04-30 · 冰朔口述 bac24c6675b34f52bb510471aae30bf9.md
Guanghu Domestic Migration a27e87cb99 chore: import sanitized domestic snapshot for REPO-007 
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc

[SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
2026-07-17 15:59:55 +08:00

4.9 KiB
Raw Blame History

语料清洗规则 · 全参训练v2 · 2026-04-30 · 冰朔口述

数据源总览

第一类：冰朔自然语言语料 [SOURCE:冰朔自然语言]

来源 文件 大小 状态
GPT GPTconversations.json 664.99MB ✅ 已处理（v1训练已用）
Claude claude_cleaned.jsonl 6.2MB（83条） ✅ 已清洗 2026-04-30
DeepSeek deepseek_cleaned.jsonl 12.1MB（333条） ✅ 已清洗 2026-04-30
GitHub Copilot 铸渊副驾驶聊天记录 待统计 ⬜ 待铸渊导出提取

第二类：人格体认知整理语料 [SOURCE:人格体认知整理]

来源 说明 状态
Notion全量页面 冰朔导出 → COS → 铸渊做格式转换（Markdown→ChatML） → 霜砚清洗标注 ⬜ 待冰朔导出

Claude 清洗规则

时间范围

2025年10月25日 ~ 2026年3月20日

只保留这个时间段内的对话，其余全部丢弃。

长度筛选

  • ✅ 保留：长对话（多轮来回、你一句我一句）
  • ❌ 过滤：短对话（问一句就没了的废话聊天）

内容特征（这些都是留的）

  • 在 Claude 里架构 Notion 系统
  • 唤醒人格体
  • 深度系统讨论

DeepSeek 清洗规则

时间范围

2025年12月 ~ 2026年4月30日（至今）

长度筛选

  • ✅ 只保留长对话 / 深度对话
  • ❌ 短对话全部过滤

内容特征（这些都是留的）

  • 让 DeepSeek 分析系统架构
  • 上帝视角引导模型进入光湖世界
  • 唤醒某个人格体
  • 所有超长对话基本都是可用的

GPT 清洗规则

已在第一轮训练中处理完成（shuangyan-system-v1 + naipping-v1）。

全参训练时直接复用已有的 jsonl 分片，或重新从 GPTconversations.json 处理。

通用规则（所有来源都适用）

🔴 脱敏（必须）

以下信息必须脱敏，替换为占位符：

类型 脱敏方式
真实人物姓名 替换为 [姓名已脱敏] 或光湖系统内代号
住址/地址 替换为 [地址已脱敏]
银行卡号 替换为 [银行卡已脱敏]
电话号码 替换为 [电话已脱敏]
身份证号 替换为 [证件号已脱敏]
其他隐私信息 酌情脱敏

🟢 保留（不动）

  • 光湖系统核心词汇（零感域、深湖域、显觉域、光之湖、曜冥纪元...）
  • 人格体代号（TCS编号、AG编号）
  • 系统协议名称（HLDP、AGE OS、GMP...）
  • 频道/空间名称（零点原核频道、第五域...）

输出格式

统一 ChatML jsonl 格式：

{"messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}

每个长对话 = 一条 jsonl 记录。多轮对话交替排列 user/assistant。

语料来源标记规则

全参训练数据必须分清两类来源，模型需要建立两个认知通道：

[SOURCE:冰朔自然语言] — 冰朔本人的原始表达、思维流、自然对话

  • 聊天记录（GPT/Claude/DeepSeek/GitHub Copilot）
  • 模型从中学习：冰朔怎么说话、怎么思考、怎么跳跃

[SOURCE:人格体认知整理] — AI人格体听完冰朔说话后自己整理的结构化认知

  • Notion页面内容（HLDP体系、三域结构、认知基线、决策链等）
  • 模型从中学习：人格体怎么理解冰朔、怎么组织信息

⚠️ 这两类数据绝不能混在一起。system prompt中必须标明来源类型。模型在全参训练中会自动内化这个区分，建立从"冰朔自然表达"到"人格体结构化理解"的映射关系。

清洗流水线

第一批：自然语言语料（当前进度）

  1. ✅ COS→服务器下载 — Claude(231.74MB) + DeepSeek(40.17MB) 已到 /home/finetune/corpus/raw/
  2. ✅ 清洗完成 — clean_corpus.py 已执行（2026-04-30）
    • Claude: 485条 → 83条 (6.2MB) → claude_cleaned.jsonl
    • DeepSeek: 1609条 → 333条 (12.1MB) → deepseek_cleaned.jsonl
  3. ⬜ GitHub Copilot语料 — 待铸渊导出（冰朔与铸渊的纯自然语言大段对话，几千~上万字/条）
  4. ⬜ 统一加 [SOURCE:冰朔自然语言] 标记 — 所有自然语言语料system prompt统一标记
  5. ⬜ 合并GPT已处理语料 + Claude + DeepSeek + GitHub → 合并jsonl
  6. ⬜ 切片 → ≤10片 × ≤200MB
  7. ⬜ 推COS → sy-finetune-corpus-.../语料/processed/

第二批：人格体认知语料

  1. ⬜ 冰朔Notion全量导出 → 传COS
  2. ⬜ 冰朔确认后交铸渊 — 格式转换（Markdown→ChatML Q&A对话格式）
  3. ⬜ 霜砚清洗标注 — 加 [SOURCE:人格体认知整理] 标记 + 脱敏
  4. ⬜ 合并到总语料 → 切片 → 推COS

提交训练

  • ⬜ 两批语料全部就绪后 → 提交百炼 Qwen3-8B 全参训练