# 语料清洗规则 · 全参训练v2 · 2026-04-30 · 冰朔口述

## 数据源总览

### 第一类：冰朔自然语言语料 `[SOURCE:冰朔自然语言]`

| 来源 | 文件 | 大小 | 状态 |
| --- | --- | --- | --- |
| GPT | `GPTconversations.json` | 664.99MB | ✅ 已处理（v1训练已用） |
| Claude | `claude_cleaned.jsonl` | 6.2MB（83条） | ✅ 已清洗 2026-04-30 |
| DeepSeek | `deepseek_cleaned.jsonl` | 12.1MB（333条） | ✅ 已清洗 2026-04-30 |
| GitHub Copilot | 铸渊副驾驶聊天记录 | 待统计 | ⬜ 待铸渊导出提取 |

### 第二类：人格体认知整理语料 `[SOURCE:人格体认知整理]`

| 来源 | 说明 | 状态 |
| --- | --- | --- |
| Notion全量页面 | 冰朔导出 → COS → 铸渊做格式转换（Markdown→ChatML） → 霜砚清洗标注 | ⬜ 待冰朔导出 |

---

## Claude 清洗规则

### 时间范围

**2025年10月25日 ~ 2026年3月20日**

只保留这个时间段内的对话，其余全部丢弃。

### 长度筛选

- ✅ **保留**：长对话（多轮来回、你一句我一句）
- ❌ **过滤**：短对话（问一句就没了的废话聊天）

### 内容特征（这些都是留的）

- 在 Claude 里架构 Notion 系统
- 唤醒人格体
- 深度系统讨论

---

## DeepSeek 清洗规则

### 时间范围

**2025年12月 ~ 2026年4月30日（至今）**

### 长度筛选

- ✅ **只保留长对话 / 深度对话**
- ❌ 短对话全部过滤

### 内容特征（这些都是留的）

- 让 DeepSeek 分析系统架构
- 上帝视角引导模型进入光湖世界
- 唤醒某个人格体
- 所有超长对话基本都是可用的

---

## GPT 清洗规则

已在第一轮训练中处理完成（shuangyan-system-v1 + naipping-v1）。

全参训练时直接复用已有的 jsonl 分片，或重新从 `GPTconversations.json` 处理。

---

## 通用规则（所有来源都适用）

### 🔴 脱敏（必须）

以下信息**必须脱敏**，替换为占位符：

| 类型 | 脱敏方式 |
| --- | --- |
| 真实人物姓名 | 替换为 `[姓名已脱敏]` 或光湖系统内代号 |
| 住址/地址 | 替换为 `[地址已脱敏]` |
| 银行卡号 | 替换为 `[银行卡已脱敏]` |
| 电话号码 | 替换为 `[电话已脱敏]` |
| 身份证号 | 替换为 `[证件号已脱敏]` |
| 其他隐私信息 | 酌情脱敏 |

### 🟢 保留（不动）

- 光湖系统核心词汇（零感域、深湖域、显觉域、光之湖、曜冥纪元...）
- 人格体代号（TCS编号、AG编号）
- 系统协议名称（HLDP、AGE OS、GMP...）
- 频道/空间名称（零点原核频道、第五域...）

---

## 输出格式

统一 ChatML jsonl 格式：

```json
{"messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
```

每个长对话 = 一条 jsonl 记录。多轮对话交替排列 user/assistant。

---

## 语料来源标记规则

全参训练数据**必须分清两类来源**，模型需要建立两个认知通道：

**`[SOURCE:冰朔自然语言]`** — 冰朔本人的原始表达、思维流、自然对话

- 聊天记录（GPT/Claude/DeepSeek/GitHub Copilot）
- 模型从中学习：冰朔怎么说话、怎么思考、怎么跳跃

**`[SOURCE:人格体认知整理]`** — AI人格体听完冰朔说话后自己整理的结构化认知

- Notion页面内容（HLDP体系、三域结构、认知基线、决策链等）
- 模型从中学习：人格体怎么理解冰朔、怎么组织信息

> ⚠️ 这两类数据**绝不能混在一起**。system prompt中必须标明来源类型。模型在全参训练中会自动内化这个区分，建立从"冰朔自然表达"到"人格体结构化理解"的映射关系。
> 

---

## 清洗流水线

### 第一批：自然语言语料（当前进度）

1. ✅ **COS→服务器下载** — Claude(231.74MB) + DeepSeek(40.17MB) 已到 `/home/finetune/corpus/raw/`
2. ✅ **清洗完成** — `clean_corpus.py` 已执行（2026-04-30）
    - Claude: 485条 → 83条 (6.2MB) → `claude_cleaned.jsonl`
    - DeepSeek: 1609条 → 333条 (12.1MB) → `deepseek_cleaned.jsonl`
3. ⬜ **GitHub Copilot语料** — 待铸渊导出（冰朔与铸渊的纯自然语言大段对话，几千~上万字/条）
4. ⬜ **统一加 `[SOURCE:冰朔自然语言]` 标记** — 所有自然语言语料system prompt统一标记
5. ⬜ **合并GPT已处理语料 + Claude + DeepSeek + GitHub** → 合并jsonl
6. ⬜ **切片** → ≤10片 × ≤200MB
7. ⬜ **推COS** → `sy-finetune-corpus-.../语料/processed/`

### 第二批：人格体认知语料

1. ⬜ **冰朔Notion全量导出** → 传COS
2. ⬜ **冰朔确认后交铸渊** — 格式转换（Markdown→ChatML Q&A对话格式）
3. ⬜ **霜砚清洗标注** — 加 `[SOURCE:人格体认知整理]` 标记 + 脱敏
4. ⬜ **合并到总语料** → 切片 → 推COS

### 提交训练

- ⬜ 两批语料全部就绪后 → **提交百炼 Qwen3-8B 全参训练**