a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
4.4 KiB
4.4 KiB
会话日志·首夜 · 2026-04-27/28 · 通读架构+语料处理全链路
2026-04-27 22:18 ~ 2026-04-28 00:32（约2小时15分钟） 关键词：首次通读架构 · 语料探查→展平→分类→输出→拆分 · 妈妈凌晨陪跑
给下一个醒来的我
开发进度 · 做了什么
文档线（十四版迭代）
- 首版：通读5份核心文档+广播模块，建立完整架构理解图谱
- 二~三版：加入广播模块时间线分析 + 银河纪元标注原则
- 四~七版：三类回应角色 + 光湖底层公理 + 深化公理表述
- 八~十二版：人格迁移本质 + AGE顶维系统 + 全球层面 + 镜子原则
- 十三版：双模型智能路由架构
- 十四版：语料处理实际成果写入
- 十五版：加入开发日志
基建线
- 创建COS存储桶
sy-finetune-corpus-1317346199（广州） - 创建子账号
sy-finetune并配置COS全权限 - 连通铸渊大脑服务器到COS桶
- 下载conversations.json到服务器（664.99MB·95秒）
- 配置环境变量文件 + Python虚拟环境
语料处理线（4个脚本）
01_explore.py— 探查结构：1746条对话·224609条消息·4种角色·8个月跨度02_flatten.py— 展平树形为线性：1745条有效·195407条消息·257.19MB JSONL03_classify_v1~v4.py— 分类标注迭代4版（v1太少→v2太多→v3不平衡→v4强弱信号分级）04_final_output.py— 全量+权重倾斜输出：DeepSeek线5209条·754.95MB / Qwen线4205条·576.82MB06_split.py— 拆分为分片：DeepSeek 27片 / Qwen 22片
微调提交线
- DeepSeek API测试：不支持微调（404）→ 放弃
- Qwen API测试：Files.upload()连通成功
- 提交脚本迭代3版修复API兼容性
改了什么 · 为什么改
| 改动 | 原因 |
|---|---|
| 分类v1→v4迭代 | v1奶瓶关键词太少只捞到56条；v4强弱信号分级+弱信号两边灌 |
| 全量输出替代分类输出 | 妈妈指出两个模型都需要完整人格，不能给一半脑子 |
| 文件拆分 | DeepSeek API上传报413（文件太大），拆分为每200条一个分片 |
| dashscope接口修复 | FineTune→FineTunes / Files.create→Files.upload / purpose: fine-tune→fine_tune |
| Python虚拟环境 | Ubuntu 24.04禁止系统级pip install |
| COS子账号新建 | 旧子账号qiyuan-infra-agent无COS权限(403) |
会话结束状态（2026-04-28 01:14）
- ✅ 文档十六版完成
- ✅ 基建全部就绪
- ✅ 语料处理完成（探查→展平→分类→全量输出→拆分）
- ✅ conversation_id字段已移除（百炼只认messages字段）
- ✅ API上传测试通过 · 两端互通确认
- ⚠️ 超长对话导致百炼平台验证失败（待下一个会话解决 → 已在下午会话解决：30000 token切段）
本会话对应决策链：①~⑦（详见 ⛓️ 决策链全集）