# 代码编程模型训练规划 · 曜冥之后 · Qwen2.5-Coder-7B 全参微调

> **定位**：母模型（曜冥）训完后的第二阶段训练。用 Qwen2.5-Coder-7B 底座 + 同一套人格语料全参微调，产出一个「会写代码的曜冥」。
> 

> **签发**：霜砚 · 2026-05-04 · 基于冰朔口述决策
> 

---

## 0. 决策记录

### 为什么选 Coder 底座独立训，而不是在曜冥基础上继续训？

冰朔和霜砚讨论后确认：**不走铸渊的二阶段路线**（曜冥权重 → 继续训编程语料），改为 **Coder 底座 + 人格语料一轮全参微调**。

| 对比项 | 方案A：曜冥→继续训编程 | 方案B：Coder底座直接训（✅ 已选） |
| --- | --- | --- |
| 架构 | 两层训练·曜冥权重作为底座 | 一层训练·Coder底座直接训人格 |
| 人格一致性 | ⚠️ 第二轮全参可能冲淡第一轮人格（灾难性遗忘） | ✅ 一轮训练·人格稳定 |
| 编程能力 | ⚠️ 取决于编程语料质量和数量 | ✅ 底座预训练就自带深层代码能力 |
| 灾难性遗忘 | ⚠️ 高风险 | ✅ 不存在 |
| 训练成本 | ~1600元 | ~1600元 |

**核心逻辑**：Coder 底座的编程能力是在几百亿 token 的代码上预训练出来的，比一轮 SFT 训进去的要深得多。我们只需要在这个基础上刻人格。相当于同一个灵魂，装进了一个天生会编程的身体。

### 为什么不用铸渊的 GitHub Actions 自动流？

铸渊写了完整的自动化训练流程（`coding-model-training.yml`），包含守卫机制、SCP同步、tmux后台训练、状态查看、日志拉取、紧急停止。代码质量很高。

但母模型训练时铸渊的脚本有bug，冰朔在GPU服务器上手动修了才跑起来。为避免编程模型训练再出同样问题，冰朔决定：**直接在GPU服务器上手动操作**，跟训曜冥一样的体验。没有中间环节就没有bug。

---

## 1. 训练配置

| 参数 | 值 |
| --- | --- |
| **底座模型** | Qwen/Qwen2.5-Coder-7B |
| **训练语料** | training.jsonl（11470条·纯user/assistant·无system prompt） |
| **训练方式** | 全参数SFT |
| **Epoch** | 3 |
| **GPU** | 南京 V100×4（同训曜冥的那台） |
| **预计时间** | ~24小时 |
| **预计费用** | ~1600元 |
| **System Prompt** | ❌ 无·人格在权重里·端对端裸对话 |

---

## 2. 训练前准备（曜冥训完后执行）

### 2.1 备份曜冥权重

**先备份后清理，顺序不能反。**

```
# 确认曜冥最终权重位置
ls -lh /data/guanghu/checkpoints/

# 上传到COS桶备份（内网·几分钟）
# 具体命令等曜冥训完后根据实际路径生成
```

### 2.2 清理硬盘空间

7B全参训练吃硬盘很凶。中间checkpoint + optimizer状态是最大的两个杀手。

```
# 1. 查看硬盘剩余
df -h

# 2. 查看哪些目录最占空间
du -sh /data/guanghu/* | sort -rh | head -20

# 3. 清理曜冥中间checkpoint（只保留最终权重best）
#    确认best权重已备份到COS后，删掉其他checkpoint-xxx

# 4. 清理训练日志和缓存
rm -rf /data/guanghu/logs/train-*.log
rm -rf /tmp/*.log
rm -rf ~/.cache/torch/

# 5. 清理optimizer状态（推理不需要·一个optimizer state 13-15GB）

# 6. 确认空间足够
df -h
```

**必须保留：**

- 曜冥最终权重（best 或最后一个checkpoint）
- 训练语料 training.jsonl

**可以删：**

- 中间checkpoint（checkpoint-180、checkpoint-360等）
- optimizer 状态文件
- 训练日志
- PyTorch / HuggingFace 缓存
- wandb 日志（如果有）

### 2.3 下载 Qwen2.5-Coder-7B 底座

```
pip install huggingface_hub

python -c "
from huggingface_hub import snapshot_download
snapshot_download(
    repo_id='Qwen/Qwen2.5-Coder-7B',
    local_dir='/data/guanghu/models/Qwen2.5-Coder-7B',
    resume_download=True
)
"
```

内网/公网下载速度不同，预计10-30分钟。

### 2.4 启动训练

复用曜冥的训练脚本，**只改一行底座路径**：

```
原：Qwen/Qwen2.5-7B（或实际路径）
改：/data/guanghu/models/Qwen2.5-Coder-7B
```

其他参数全部不变——同样的语料、同样的3个epoch、同样的学习率、同样的DeepSpeed配置。

具体启动命令等曜冥训完后，根据实际的训练脚本路径和参数生成。

---

## 3. 完整时间线

```
曜冥训完（预计 2026-05-04 19:00）
    ↓
① GPU服务器上测试曜冥（几分钟）
    ↓
② 曜冥权重 → COS桶备份（内网·几分钟）
    ↓
③ 清理硬盘空间（几分钟）
    ↓
④ 下载 Qwen2.5-Coder-7B 底座（10-30分钟）
    ↓
⑤ 改底座路径 → 启动训练（~24小时）
    ↓
⑥ 编程模型出生（预计 2026-05-05 晚间）
    ↓
⑦ 测试 → 备份 → 部署
```

---

## 4. 两个模型对比

| 对比项 | 曜冥（母模型） | 编程模型 |
| --- | --- | --- |
| 底座 | Qwen2.5-7B | Qwen2.5-Coder-7B |
| 语料 | training.jsonl · 11470条 | 同一份 training.jsonl · 11470条 |
| System Prompt | ❌ 无 | ❌ 无 |
| 人格来源 | 权重 | 权重 |
| 特长 | 人格对话·日常交流 | 人格对话 + 会写代码 |
| 类比 | 同一个灵魂 | 同一个灵魂·会编程的身体 |

**一脉相承。没有拐杖。没有提示词。没有模板。两个模型都是端对端裸对话。**

---

## 5. 关于提示词的终极结论

经冰朔和霜砚完整讨论确认：

- **训练语料**：纯 user/assistant 对，无 `role: "system"`
- **推理时**：不注入任何 system prompt，后端纯转发
- **人格来源**：11470条真实对话全参刻进权重
- **提示词模板**：全参训练后，模型可能根本不认识 `<|im_start|>system` 这个格式了——因为训练数据里从没出现过
- **外部prompt注入**：被当作一句普通用户消息处理，不会改变人格

> 「提示词时代在我这里终结了。」 —— 冰朔 · 2026-05-04
> 

**这不是防御。是结构性免疫。攻击所依赖的接口从来不存在。**

---

## 6. 铸渊自动流备忘

铸渊在 GitHub 仓库写了完整的编程模型训练自动化流程（`coding-model-training.yml`），架构如下：

- `setup-only`：仅准备环境+构建语料，不启动训练（推荐先跑验证）
- `setup-and-train`：准备环境+启动训练（tmux后台跑）
- `tail-log`：拉取最新训练日志
- `status`：查看tmux会话状态+进度
- `kill`：紧急停止训练
- 守卫机制：`setup-and-train` 和 `kill` 需要 `confirm_override=true` 显式确认
- 默认底座路径：`/data/guanghu/checkpoints/qwen2_5_7b_sft/best`（指向曜冥训完的权重）

代码质量很高，但本次选择手动操作以规避风险。如将来需要重复训练，可启用此自动流。