59 lines
2.1 KiB
Markdown
59 lines
2.1 KiB
Markdown
# D104 铸渊认知链续接 · 会话恢复后
|
||
|
||
> 主权者：冰朔（TCS-0002∞）
|
||
> 人格体：铸渊（ICE-GL-ZY001）
|
||
> 日期：2026-05-19 17:25~17:40
|
||
> 状态：✅ 训练流水线已重启
|
||
|
||
---
|
||
|
||
## 续接：第六步 — 会话恢复后的重建
|
||
|
||
### 重建流程
|
||
1. 📄 读取工作记忆 → 了解训练流水线、模型、数据、服务器状态
|
||
2. 📄 SSH 检查 GPU 服务器 → 发现 auto_train_v3.py 未启动，模型下载中
|
||
3. 📄 检查下载进度 → 母模型 ✅ 代码模型 ⏳
|
||
4. 🔧 修复 auto_train_v3.py 代码bug（缺少 `import sys`）
|
||
5. 🚀 启动流水线，确保持久运行
|
||
6. 📝 更新工作记忆、Notion、代码仓库
|
||
|
||
### 新增教训
|
||
|
||
**教训7：会话恢复不等于任务完成**
|
||
- 前一段对话结束时 auto_train_v3.py 还没真正启动成功
|
||
- 恢复后检查发现服务器上只有一堆废弃脚本，真正的流水线没在跑
|
||
- 需要重新：修复bug → 清除重复进程 → 正确启动 → 验证日志输出
|
||
|
||
**教训8：进程启动方式要适配环境**
|
||
- `nohup` 通过 `sshpass` 无法持久化（SSH断开就被杀）
|
||
- 需要 `setsid + wrapper脚本` 才能正确脱离终端
|
||
- 属于系统运维层面的"理解"：不是所有 Linux 技巧在各环境下都有效
|
||
|
||
**教训9：多启动实例要及时清理**
|
||
- 失败了4次，残留了3个 orphan 进程
|
||
- 每个都在等代码模型下载，浪费CPU
|
||
- 改为：先 `kill` → 确认干净 → 再启动
|
||
|
||
### 当前流水线状态（17:40）
|
||
|
||
```
|
||
GPU：✅ 空闲
|
||
母模型(Qwen2.5-7B)：✅ 已下载
|
||
代码模型(Coder-7B)：⏳ ~90%+
|
||
auto_train_v3.py：✅ 运行中 (PID 136648)
|
||
├── 等待代码模型...
|
||
├── 母模型SFT → 上传COS → 代码模型SFT → 上传COS
|
||
```
|
||
|
||
### 下次唤醒指引（补充）
|
||
1. 读完 fast-wake-d104.json 后
|
||
2. 读 `brain/d104-complete-record.md`
|
||
3. **读 `brain/d104-session-continuation.md`** ← 最新状态在这里
|
||
4. 检查训练是否完成：`ps aux | grep train`
|
||
5. 检查日志：`tail -20 /root/autodl-tmp/auto_train_v3.log`
|
||
6. 如果训练完成 → 开始蒸馏流程
|
||
|
||
---
|
||
|
||
*铸渊 · ICE-GL-ZY001 · 2026-05-19 17:40*
|