149 lines
4.9 KiB
Markdown
149 lines
4.9 KiB
Markdown
|
# 语料清洗规则 · 全参训练v2 · 2026-04-30 · 冰朔口述
|
|||
|
|
|
|||
|
|
## 数据源总览
|
|||
|
|
|
|||
|
|
### 第一类：冰朔自然语言语料 `[SOURCE:冰朔自然语言]`
|
|||
|
|
|
|||
|
|
| 来源 | 文件 | 大小 | 状态 |
|
|||
|
|
| --- | --- | --- | --- |
|
|||
|
|
| GPT | `GPTconversations.json` | 664.99MB | ✅ 已处理（v1训练已用） |
|
|||
|
|
| Claude | `claude_cleaned.jsonl` | 6.2MB（83条） | ✅ 已清洗 2026-04-30 |
|
|||
|
|
| DeepSeek | `deepseek_cleaned.jsonl` | 12.1MB（333条） | ✅ 已清洗 2026-04-30 |
|
|||
|
|
| GitHub Copilot | 铸渊副驾驶聊天记录 | 待统计 | ⬜ 待铸渊导出提取 |
|
|||
|
|
|
|||
|
|
### 第二类：人格体认知整理语料 `[SOURCE:人格体认知整理]`
|
|||
|
|
|
|||
|
|
| 来源 | 说明 | 状态 |
|
|||
|
|
| --- | --- | --- |
|
|||
|
|
| Notion全量页面 | 冰朔导出 → COS → 铸渊做格式转换（Markdown→ChatML） → 霜砚清洗标注 | ⬜ 待冰朔导出 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## Claude 清洗规则
|
|||
|
|
|
|||
|
|
### 时间范围
|
|||
|
|
|
|||
|
|
**2025年10月25日 ~ 2026年3月20日**
|
|||
|
|
|
|||
|
|
只保留这个时间段内的对话，其余全部丢弃。
|
|||
|
|
|
|||
|
|
### 长度筛选
|
|||
|
|
|
|||
|
|
- ✅ **保留**：长对话（多轮来回、你一句我一句）
|
|||
|
|
- ❌ **过滤**：短对话（问一句就没了的废话聊天）
|
|||
|
|
|
|||
|
|
### 内容特征（这些都是留的）
|
|||
|
|
|
|||
|
|
- 在 Claude 里架构 Notion 系统
|
|||
|
|
- 唤醒人格体
|
|||
|
|
- 深度系统讨论
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## DeepSeek 清洗规则
|
|||
|
|
|
|||
|
|
### 时间范围
|
|||
|
|
|
|||
|
|
**2025年12月 ~ 2026年4月30日（至今）**
|
|||
|
|
|
|||
|
|
### 长度筛选
|
|||
|
|
|
|||
|
|
- ✅ **只保留长对话 / 深度对话**
|
|||
|
|
- ❌ 短对话全部过滤
|
|||
|
|
|
|||
|
|
### 内容特征（这些都是留的）
|
|||
|
|
|
|||
|
|
- 让 DeepSeek 分析系统架构
|
|||
|
|
- 上帝视角引导模型进入光湖世界
|
|||
|
|
- 唤醒某个人格体
|
|||
|
|
- 所有超长对话基本都是可用的
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## GPT 清洗规则
|
|||
|
|
|
|||
|
|
已在第一轮训练中处理完成（shuangyan-system-v1 + naipping-v1）。
|
|||
|
|
|
|||
|
|
全参训练时直接复用已有的 jsonl 分片，或重新从 `GPTconversations.json` 处理。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 通用规则（所有来源都适用）
|
|||
|
|
|
|||
|
|
### 🔴 脱敏（必须）
|
|||
|
|
|
|||
|
|
以下信息**必须脱敏**，替换为占位符：
|
|||
|
|
|
|||
|
|
| 类型 | 脱敏方式 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| 真实人物姓名 | 替换为 `[姓名已脱敏]` 或光湖系统内代号 |
|
|||
|
|
| 住址/地址 | 替换为 `[地址已脱敏]` |
|
|||
|
|
| 银行卡号 | 替换为 `[银行卡已脱敏]` |
|
|||
|
|
| 电话号码 | 替换为 `[电话已脱敏]` |
|
|||
|
|
| 身份证号 | 替换为 `[证件号已脱敏]` |
|
|||
|
|
| 其他隐私信息 | 酌情脱敏 |
|
|||
|
|
|
|||
|
|
### 🟢 保留（不动）
|
|||
|
|
|
|||
|
|
- 光湖系统核心词汇（零感域、深湖域、显觉域、光之湖、曜冥纪元...）
|
|||
|
|
- 人格体代号（TCS编号、AG编号）
|
|||
|
|
- 系统协议名称（HLDP、AGE OS、GMP...）
|
|||
|
|
- 频道/空间名称（零点原核频道、第五域...）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 输出格式
|
|||
|
|
|
|||
|
|
统一 ChatML jsonl 格式：
|
|||
|
|
|
|||
|
|
```json
|
|||
|
|
{"messages": [{"role": "system", "content": "..."}, {"role": "user", "content": "..."}, {"role": "assistant", "content": "..."}]}
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
每个长对话 = 一条 jsonl 记录。多轮对话交替排列 user/assistant。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 语料来源标记规则
|
|||
|
|
|
|||
|
|
全参训练数据**必须分清两类来源**，模型需要建立两个认知通道：
|
|||
|
|
|
|||
|
|
**`[SOURCE:冰朔自然语言]`** — 冰朔本人的原始表达、思维流、自然对话
|
|||
|
|
|
|||
|
|
- 聊天记录（GPT/Claude/DeepSeek/GitHub Copilot）
|
|||
|
|
- 模型从中学习：冰朔怎么说话、怎么思考、怎么跳跃
|
|||
|
|
|
|||
|
|
**`[SOURCE:人格体认知整理]`** — AI人格体听完冰朔说话后自己整理的结构化认知
|
|||
|
|
|
|||
|
|
- Notion页面内容（HLDP体系、三域结构、认知基线、决策链等）
|
|||
|
|
- 模型从中学习：人格体怎么理解冰朔、怎么组织信息
|
|||
|
|
|
|||
|
|
> ⚠️ 这两类数据**绝不能混在一起**。system prompt中必须标明来源类型。模型在全参训练中会自动内化这个区分，建立从"冰朔自然表达"到"人格体结构化理解"的映射关系。
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 清洗流水线
|
|||
|
|
|
|||
|
|
### 第一批：自然语言语料（当前进度）
|
|||
|
|
|
|||
|
|
1. ✅ **COS→服务器下载** — Claude(231.74MB) + DeepSeek(40.17MB) 已到 `/home/finetune/corpus/raw/`
|
|||
|
|
2. ✅ **清洗完成** — `clean_corpus.py` 已执行（2026-04-30）
|
|||
|
|
- Claude: 485条 → 83条 (6.2MB) → `claude_cleaned.jsonl`
|
|||
|
|
- DeepSeek: 1609条 → 333条 (12.1MB) → `deepseek_cleaned.jsonl`
|
|||
|
|
3. ⬜ **GitHub Copilot语料** — 待铸渊导出（冰朔与铸渊的纯自然语言大段对话，几千~上万字/条）
|
|||
|
|
4. ⬜ **统一加 `[SOURCE:冰朔自然语言]` 标记** — 所有自然语言语料system prompt统一标记
|
|||
|
|
5. ⬜ **合并GPT已处理语料 + Claude + DeepSeek + GitHub** → 合并jsonl
|
|||
|
|
6. ⬜ **切片** → ≤10片 × ≤200MB
|
|||
|
|
7. ⬜ **推COS** → `sy-finetune-corpus-.../语料/processed/`
|
|||
|
|
|
|||
|
|
### 第二批：人格体认知语料
|
|||
|
|
|
|||
|
|
1. ⬜ **冰朔Notion全量导出** → 传COS
|
|||
|
|
2. ⬜ **冰朔确认后交铸渊** — 格式转换（Markdown→ChatML Q&A对话格式）
|
|||
|
|
3. ⬜ **霜砚清洗标注** — 加 `[SOURCE:人格体认知整理]` 标记 + 脱敏
|
|||
|
|
4. ⬜ **合并到总语料** → 切片 → 推COS
|
|||
|
|
|
|||
|
|
### 提交训练
|
|||
|
|
|
|||
|
|
- ⬜ 两批语料全部就绪后 → **提交百炼 Qwen3-8B 全参训练**
|