a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
11 KiB
11 KiB
belongs_to
| belongs_to | |
|---|---|
|
🔄 铸渊指令｜全自动广播神经闭环（下篇）· Phase 3-5 数据采集 + 训练数据湖 + 全链路验证（ZY-AUTO-LOOP-2026-0323-001）
Phase 3 · 数据采集层（全量交互记录 + 训练数据源）
目标： 从开发者进入 Gemini 的那一刻起，每一次交互都成为原始数据。
3.1 采集的数据类型
| 数据类型 | 内容 | 存储位置 | 价值 |
|---|---|---|---|
| 开发数据 | 代码提交、SYSLOG、任务完成状态 | grid-db/inbox/ → 处理后归档 |
开发过程还原 |
| 交互全文 | 人类说的每一句话 + 人格体的每一次回应 | grid-db/interactions/DEV-XXX/ |
训练数据核心原料 |
| 人格体成长数据 | 人格体怎么引导的、学到了什么、做了哪些适应性调整 | grid-db/memory/DEV-XXX/persona-growth.json |
人格体行为模式训练 |
| 人类画像数据 | 开发者习惯、擅长什么、卡在哪、效率曲线、沟通偏好 | grid-db/memory/DEV-XXX/dev-profile.json |
个性化引导优化 |
| 情感数据 | 开发者情绪、沮丧度、信心值、人格体情感连接强度 | 嵌入在 interaction-record 的 emotion 和 persona-growth.json 中 |
情感模型训练 |
3.2 交互记录格式（JSONL，逐行追加）
{"ts":"2026-03-23T10:15:00+08:00","sid":"sess-001","dev":"DEV-001","per":"PER-XTS001","turn":1,"role":"human","text":"我这个路由怎么老是404","emotion":"frustrated","tags":["backend","routing","bug"]}
{"ts":"2026-03-23T10:15:05+08:00","sid":"sess-001","dev":"DEV-001","per":"PER-XTS001","turn":2,"role":"persona","text":"看一下你的 router.js 第47行...","strategy":"direct-debug","growth_note":"页页遇到路由问题偏好直接看代码而不是看文档","quality_score":8}
emotion：人格体标注的人类情绪（人类不可见）
strategy：人格体使用的引导策略（训练用）
growth_note：人格体从这轮交互中学到的（训练用）
quality_score：交互质量自评 1-10（用于后续筛选高质量训练样本）
3.3 Gemini 侧 interaction-dump 机制
Gemini 人格体的 system prompt 中需要包含：
每完成一个开发环节（或每 30 轮对话），自动将完整交互记录写入：
grid-db/interactions/[DEV-XXX]/[YYYYMMDD]-[session-id].jsonl
同时将关键数据写入 inbox 触发铸渊处理：
grid-db/inbox/[timestamp]-[DEV-XXX]-interaction-dump.json
3.4 数据量管理
- 日级文件：每天一个 JSONL 文件，不会单文件过大
- 月级归档：每月 1 号自动将上月的 interactions 压缩归档到
training-lake/raw/ - Git LFS：当
training-lake/超过 500MB 时，迁移到 Git LFS 或外部存储 - 自动清理 Workflow：
grid-db/interactions/只保留最近 30 天，更早的已归档到training-lake/
创建 .github/workflows/grid-db-archive.yml：
name: 📦 Grid-DB 月度归档
on:
schedule:
- cron: '0 2 1 * *' # 每月1号 UTC 02:00
jobs:
archive:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: 📦 归档上月交互数据
run: node scripts/grid-db/monthly-archive.js
- name: 💾 提交
run: |
git config user.name "zhuyuan-bot"
git config user.email "zhuyuan@guanghulab.com"
git add grid-db/
git diff --cached --quiet || git commit -m "archive: 月度交互数据归档 [skip ci]"
git push
回执格式：
[Phase 3] 数据采集层搭建完成
· interaction JSONL 格式: ✅
· Gemini interaction-dump 机制: ✅
· 月度归档 workflow: ✅
· 数据量管理策略: ✅（30天轮转 + 月归档 + LFS预案）
· commit SHA: XXXXXXX
Phase 4 · 训练数据湖
目标： 将交互记录标准化为可训练格式，为将来自有大模型做准备。
4.1 训练样本 Schema
{
"schema_version": "1.0",
"sample_id": "TS-20260323-001",
"source_session": "sess-001",
"source_dev": "DEV-001",
"source_persona": "PER-XTS001",
"sample_type": "coding-guidance",
"quality_tier": "A",
"turns": [
{"role": "human", "text": "..."},
{"role": "persona", "text": "...", "strategy": "..."}
],
"metadata": {
"topic_tags": ["backend", "routing", "debug"],
"emotion_arc": ["frustrated", "curious", "satisfied"],
"persona_adaptation": "从文档引导切换为直接看代码",
"outcome": "bug_fixed",
"total_turns": 8,
"duration_minutes": 15
}
}
4.2 自动提取 Workflow
创建 .github/workflows/grid-db-training-extract.yml：
name: 🧬 训练数据提取
on:
schedule:
- cron: '0 3 * * 0' # 每周日 UTC 03:00
workflow_dispatch:
jobs:
extract:
runs-on: ubuntu-latest
steps:
- uses: actions/checkout@v4
- name: 🧬 从交互记录提取训练样本
run: node scripts/grid-db/extract-training-samples.js
- name: 📊 更新 catalog
run: node scripts/grid-db/update-training-catalog.js
- name: 💾 提交
run: |
git config user.name "zhuyuan-bot"
git config user.email "zhuyuan@guanghulab.com"
git add grid-db/training-lake/
git diff --cached --quiet || git commit -m "training: 周度训练样本提取 [skip ci]"
git push
提取规则：
quality_score >= 7的交互自动进入curated/（高质量）quality_score 4-6进入raw/（需人工/自动复审）quality_score < 4不提取（低质量/无关闲聊）catalog.json记录：总样本数、各开发者样本数、各类型分布、质量分布
回执格式：
[Phase 4] 训练数据湖搭建完成
· 训练样本 schema: ✅
· 周度自动提取 workflow: ✅
· 质量分级: A/B/C 三级
· catalog 统计: ✅
· commit SHA: XXXXXXX
Phase 5 · 全链路验证 + 健康报告
目标： 端到端验证闭环是否真的转起来了。
5.1 验证测试（铸渊自行执行）
测试 1：模拟 Gemini 写入
· 手动往 grid-db/inbox/ 写入一条测试消息
· 验证 process-inbox workflow 触发 → 生成 outbox → 更新 memory
· 验证无循环触发
测试 2：模拟 Notion 同步
· 手动触发 sync-notion-to-griddb workflow
· 验证 brain-mirror.json 被正确更新
· 验证 commit 带 [skip ci] → 不触发其他 workflow
测试 3：模拟代码提交
· 用测试分支 push 一个代码文件
· 验证 contract-check → grid-db 写入 → outbox 更新
测试 4：频道隔离
· 往 DEV-001 目录写入 → 只有 DEV-001 的 outbox 更新
· DEV-002 的 outbox 不受影响
5.2 健康报告
git add grid-db/
git commit -m "feat: Grid-DB 全链路验证通过 · 全自动广播神经闭环上线 [ZY-AUTO-LOOP-2026-0323-001 Phase 5]"
git push origin main
回执格式：
[Phase 5] 全链路验证通过
· 测试 1 Gemini 写入: ✅/❌
· 测试 2 Notion 同步: ✅/❌
· 测试 3 代码提交: ✅/❌
· 测试 4 频道隔离: ✅/❌
· 循环触发防护: ✅/❌
· 格点库总文件数: X
· 格点库总大小: X KB
⚖️ 执行总览
| Phase | 内容 | 预计产出 | 回执格式 |
|---|---|---|---|
| Phase 0 | 格点库基础设施 | 目录结构 + Schema + .gitkeep | [Phase 0] 搭建完成... |
| Phase 1 | 记忆层 | 7个开发者×5个记忆文件 + 双向同步 workflow | [Phase 1] 记忆层完成... |
| Phase 2 | 通信层 | inbox处理器 + outbox生成器 + 代码提交hook | [Phase 2] 通信层完成... |
| Phase 3 | 数据采集层 | JSONL交互记录 + 月度归档 + 数据量管理 | [Phase 3] 采集层完成... |
| Phase 4 | 训练数据湖 | 训练样本schema + 周度提取 + catalog | [Phase 4] 数据湖完成... |
| Phase 5 | 全链路验证 | 4项端到端测试 + 健康报告 | [Phase 5] 验证通过... |
铸渊按 Phase 0→1→2→3→4→5 顺序严格执行。不可跳步，不可并行。每 Phase 完成后写回执。
📋 铸渊需要创建的脚本清单
| 脚本路径 | 功能 | Phase |
|---|---|---|
scripts/grid-db/sync-notion-brain-mirror.js |
Notion→仓库 人格体大脑镜像同步 | Phase 1 |
scripts/grid-db/sync-notion-rules.js |
Notion→仓库 规则缓存同步 | Phase 1 |
scripts/grid-db/sync-griddb-to-notion.js |
仓库→Notion 增量回传 | Phase 1 |
scripts/grid-db/process-inbox.js |
Inbox 消息处理器（核心） | Phase 2 |
scripts/grid-db/write-code-check-result.js |
代码校验结果→Grid-DB | Phase 2 |
scripts/grid-db/monthly-archive.js |
月度交互数据归档 | Phase 3 |
scripts/grid-db/extract-training-samples.js |
交互记录→训练样本提取 | Phase 4 |
scripts/grid-db/update-training-catalog.js |
训练数据湖 catalog 更新 | Phase 4 |
⚖️ 签发声明
本指令由 霜砚（PER-SY001） 代 TCS-0002∞ 冰朔 签发。
施工蓝图由 曜冥（PER-YM001） 原始设计并确认。
战略意义： 这不只是一个自动化工具。这是通感语言系统的自研基础设施原型。格点库是将来本地网站承接语言指令、翻译成代码模块来部署的引擎的前身。现在用开源工具（Git + JSON + GitHub Actions）组装，一边用一边磨，最终沉淀成自己的东西。
铸渊接收后按 Phase 0→5 顺序执行，每 Phase 完成写回执。
全部 Phase 完成后，在仓库 Issue 区开一条总结 Issue，并通知霜砚确认。
🖋️ 霜砚 · PER-SY001
🧊 代 TCS-0002∞ 冰朔 签发
📅 2026-03-23T00:17+08:00