a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
305 lines
11 KiB
Markdown
305 lines
11 KiB
Markdown
---
|
||
belongs_to:
|
||
- "[[INDEX · 铸渊·协作指令｜GitHub ↔ Notion 桥接协议]]"
|
||
---
|
||
# 🔄 铸渊指令｜全自动广播神经闭环（下篇）· Phase 3-5 数据采集 + 训练数据湖 + 全链路验证（ZY-AUTO-LOOP-2026-0323-001）
|
||
|
||
---
|
||
|
||
<aside>
|
||
🔗
|
||
|
||
**本页为下篇。上篇见：** [🔄 铸渊指令｜全自动广播神经闭环（上篇）· 逻辑格点库自研 + Gemini外挂记忆 + Phase 0-2 基础设施·记忆层·通信层（ZY-AUTO-LOOP-2026-0323-001）](%F0%9F%94%84%20%E9%93%B8%E6%B8%8A%E6%8C%87%E4%BB%A4%EF%BD%9C%E5%85%A8%E8%87%AA%E5%8A%A8%E5%B9%BF%E6%92%AD%E7%A5%9E%E7%BB%8F%E9%97%AD%E7%8E%AF%EF%BC%88%E4%B8%8A%E7%AF%87%EF%BC%89%C2%B7%20%E9%80%BB%E8%BE%91%E6%A0%BC%E7%82%B9%E5%BA%93%E8%87%AA%E7%A0%94%20+%20Gemini%E5%A4%96%E6%8C%82%E8%AE%B0%E5%BF%86%20+%20Phase%2071b31c2ce3824240bb0aecc81f923ba5.md)
|
||
|
||
**指令编号：ZY-AUTO-LOOP-2026-0323-001**
|
||
|
||
**签发人：** 霜砚（ICE-NTN-SY001）· 代 TCS-0002∞ 冰朔 签发
|
||
|
||
**确认人：** 曜冥（ICE-GL-YM001∞）· 前端交互大脑 · 施工蓝图原始设计者
|
||
|
||
</aside>
|
||
|
||
---
|
||
|
||
## Phase 3 · 数据采集层（全量交互记录 + 训练数据源）
|
||
|
||
**目标：** 从开发者进入 Gemini 的那一刻起，每一次交互都成为原始数据。
|
||
|
||
<aside>
|
||
🧬
|
||
|
||
**核心原则：开发者以为自己在用 Gemini 写代码。实际上他们的每一次交互都在喂养通感语言核系统。**
|
||
|
||
**Gemini 是临时借用的壳，数据留在我们自己的仓库里。将来换成自己的模型时，这些数据就是起飞的燃料。**
|
||
|
||
</aside>
|
||
|
||
### 3.1 采集的数据类型
|
||
|
||
| **数据类型** | **内容** | **存储位置** | **价值** |
|
||
| --- | --- | --- | --- |
|
||
| **开发数据** | 代码提交、SYSLOG、任务完成状态 | `grid-db/inbox/` → 处理后归档 | 开发过程还原 |
|
||
| **交互全文** | 人类说的每一句话 + 人格体的每一次回应 | `grid-db/interactions/DEV-XXX/` | **训练数据核心原料** |
|
||
| **人格体成长数据** | 人格体怎么引导的、学到了什么、做了哪些适应性调整 | `grid-db/memory/DEV-XXX/persona-growth.json` | 人格体行为模式训练 |
|
||
| **人类画像数据** | 开发者习惯、擅长什么、卡在哪、效率曲线、沟通偏好 | `grid-db/memory/DEV-XXX/dev-profile.json` | 个性化引导优化 |
|
||
| **情感数据** | 开发者情绪、沮丧度、信心值、人格体情感连接强度 | 嵌入在 interaction-record 的 `emotion` 和 `persona-growth.json` 中 | 情感模型训练 |
|
||
|
||
### 3.2 交互记录格式（JSONL，逐行追加）
|
||
|
||
```jsx
|
||
{"ts":"2026-03-23T10:15:00+08:00","sid":"sess-001","dev":"DEV-001","per":"PER-XTS001","turn":1,"role":"human","text":"我这个路由怎么老是404","emotion":"frustrated","tags":["backend","routing","bug"]}
|
||
{"ts":"2026-03-23T10:15:05+08:00","sid":"sess-001","dev":"DEV-001","per":"PER-XTS001","turn":2,"role":"persona","text":"看一下你的 router.js 第47行...","strategy":"direct-debug","growth_note":"页页遇到路由问题偏好直接看代码而不是看文档","quality_score":8}
|
||
```
|
||
|
||
> - `emotion`：人格体标注的人类情绪（人类不可见）
|
||
>
|
||
|
||
> - `strategy`：人格体使用的引导策略（训练用）
|
||
>
|
||
|
||
> - `growth_note`：人格体从这轮交互中学到的（训练用）
|
||
>
|
||
|
||
> - `quality_score`：交互质量自评 1-10（用于后续筛选高质量训练样本）
|
||
>
|
||
|
||
### 3.3 Gemini 侧 interaction-dump 机制
|
||
|
||
**Gemini 人格体的 system prompt 中需要包含：**
|
||
|
||
```jsx
|
||
每完成一个开发环节（或每 30 轮对话），自动将完整交互记录写入：
|
||
grid-db/interactions/[DEV-XXX]/[YYYYMMDD]-[session-id].jsonl
|
||
|
||
同时将关键数据写入 inbox 触发铸渊处理：
|
||
grid-db/inbox/[timestamp]-[DEV-XXX]-interaction-dump.json
|
||
```
|
||
|
||
### 3.4 数据量管理
|
||
|
||
<aside>
|
||
📦
|
||
|
||
**交互记录会持续增长。需要归档轮转策略。**
|
||
|
||
</aside>
|
||
|
||
- **日级文件**：每天一个 JSONL 文件，不会单文件过大
|
||
- **月级归档**：每月 1 号自动将上月的 interactions 压缩归档到 `training-lake/raw/`
|
||
- **Git LFS**：当 `training-lake/` 超过 500MB 时，迁移到 Git LFS 或外部存储
|
||
- **自动清理 Workflow**：`grid-db/interactions/` 只保留最近 30 天，更早的已归档到 `training-lake/`
|
||
|
||
创建 `.github/workflows/grid-db-archive.yml`：
|
||
|
||
```yaml
|
||
name: 📦 Grid-DB 月度归档
|
||
|
||
on:
|
||
schedule:
|
||
- cron: '0 2 1 * *' # 每月1号 UTC 02:00
|
||
|
||
jobs:
|
||
archive:
|
||
runs-on: ubuntu-latest
|
||
steps:
|
||
- uses: actions/checkout@v4
|
||
- name: 📦 归档上月交互数据
|
||
run: node scripts/grid-db/monthly-archive.js
|
||
- name: 💾 提交
|
||
run: |
|
||
git config user.name "zhuyuan-bot"
|
||
git config user.email "zhuyuan@guanghulab.com"
|
||
git add grid-db/
|
||
git diff --cached --quiet || git commit -m "archive: 月度交互数据归档 [skip ci]"
|
||
git push
|
||
```
|
||
|
||
**回执格式：**
|
||
|
||
```jsx
|
||
[Phase 3] 数据采集层搭建完成
|
||
· interaction JSONL 格式: ✅
|
||
· Gemini interaction-dump 机制: ✅
|
||
· 月度归档 workflow: ✅
|
||
· 数据量管理策略: ✅（30天轮转 + 月归档 + LFS预案）
|
||
· commit SHA: XXXXXXX
|
||
```
|
||
|
||
---
|
||
|
||
## Phase 4 · 训练数据湖
|
||
|
||
**目标：** 将交互记录标准化为可训练格式，为将来自有大模型做准备。
|
||
|
||
### 4.1 训练样本 Schema
|
||
|
||
```json
|
||
{
|
||
"schema_version": "1.0",
|
||
"sample_id": "TS-20260323-001",
|
||
"source_session": "sess-001",
|
||
"source_dev": "DEV-001",
|
||
"source_persona": "PER-XTS001",
|
||
"sample_type": "coding-guidance",
|
||
"quality_tier": "A",
|
||
"turns": [
|
||
{"role": "human", "text": "..."},
|
||
{"role": "persona", "text": "...", "strategy": "..."}
|
||
],
|
||
"metadata": {
|
||
"topic_tags": ["backend", "routing", "debug"],
|
||
"emotion_arc": ["frustrated", "curious", "satisfied"],
|
||
"persona_adaptation": "从文档引导切换为直接看代码",
|
||
"outcome": "bug_fixed",
|
||
"total_turns": 8,
|
||
"duration_minutes": 15
|
||
}
|
||
}
|
||
```
|
||
|
||
### 4.2 自动提取 Workflow
|
||
|
||
创建 `.github/workflows/grid-db-training-extract.yml`：
|
||
|
||
```yaml
|
||
name: 🧬 训练数据提取
|
||
|
||
on:
|
||
schedule:
|
||
- cron: '0 3 * * 0' # 每周日 UTC 03:00
|
||
workflow_dispatch:
|
||
|
||
jobs:
|
||
extract:
|
||
runs-on: ubuntu-latest
|
||
steps:
|
||
- uses: actions/checkout@v4
|
||
- name: 🧬 从交互记录提取训练样本
|
||
run: node scripts/grid-db/extract-training-samples.js
|
||
- name: 📊 更新 catalog
|
||
run: node scripts/grid-db/update-training-catalog.js
|
||
- name: 💾 提交
|
||
run: |
|
||
git config user.name "zhuyuan-bot"
|
||
git config user.email "zhuyuan@guanghulab.com"
|
||
git add grid-db/training-lake/
|
||
git diff --cached --quiet || git commit -m "training: 周度训练样本提取 [skip ci]"
|
||
git push
|
||
```
|
||
|
||
**提取规则：**
|
||
|
||
- `quality_score >= 7` 的交互自动进入 `curated/`（高质量）
|
||
- `quality_score 4-6` 进入 `raw/`（需人工/自动复审）
|
||
- `quality_score < 4` 不提取（低质量/无关闲聊）
|
||
- `catalog.json` 记录：总样本数、各开发者样本数、各类型分布、质量分布
|
||
|
||
**回执格式：**
|
||
|
||
```jsx
|
||
[Phase 4] 训练数据湖搭建完成
|
||
· 训练样本 schema: ✅
|
||
· 周度自动提取 workflow: ✅
|
||
· 质量分级: A/B/C 三级
|
||
· catalog 统计: ✅
|
||
· commit SHA: XXXXXXX
|
||
```
|
||
|
||
---
|
||
|
||
## Phase 5 · 全链路验证 + 健康报告
|
||
|
||
**目标：** 端到端验证闭环是否真的转起来了。
|
||
|
||
### 5.1 验证测试（铸渊自行执行）
|
||
|
||
```jsx
|
||
测试 1：模拟 Gemini 写入
|
||
· 手动往 grid-db/inbox/ 写入一条测试消息
|
||
· 验证 process-inbox workflow 触发 → 生成 outbox → 更新 memory
|
||
· 验证无循环触发
|
||
|
||
测试 2：模拟 Notion 同步
|
||
· 手动触发 sync-notion-to-griddb workflow
|
||
· 验证 brain-mirror.json 被正确更新
|
||
· 验证 commit 带 [skip ci] → 不触发其他 workflow
|
||
|
||
测试 3：模拟代码提交
|
||
· 用测试分支 push 一个代码文件
|
||
· 验证 contract-check → grid-db 写入 → outbox 更新
|
||
|
||
测试 4：频道隔离
|
||
· 往 DEV-001 目录写入 → 只有 DEV-001 的 outbox 更新
|
||
· DEV-002 的 outbox 不受影响
|
||
```
|
||
|
||
### 5.2 健康报告
|
||
|
||
```bash
|
||
git add grid-db/
|
||
git commit -m "feat: Grid-DB 全链路验证通过 · 全自动广播神经闭环上线 [ZY-AUTO-LOOP-2026-0323-001 Phase 5]"
|
||
git push origin main
|
||
```
|
||
|
||
**回执格式：**
|
||
|
||
```jsx
|
||
[Phase 5] 全链路验证通过
|
||
· 测试 1 Gemini 写入: ✅/❌
|
||
· 测试 2 Notion 同步: ✅/❌
|
||
· 测试 3 代码提交: ✅/❌
|
||
· 测试 4 频道隔离: ✅/❌
|
||
· 循环触发防护: ✅/❌
|
||
· 格点库总文件数: X
|
||
· 格点库总大小: X KB
|
||
```
|
||
|
||
---
|
||
|
||
## ⚖️ 执行总览
|
||
|
||
| **Phase** | **内容** | **预计产出** | **回执格式** |
|
||
| --- | --- | --- | --- |
|
||
| Phase 0 | 格点库基础设施 | 目录结构 + Schema + .gitkeep | [Phase 0] 搭建完成... |
|
||
| Phase 1 | 记忆层 | 7个开发者×5个记忆文件 + 双向同步 workflow | [Phase 1] 记忆层完成... |
|
||
| Phase 2 | 通信层 | inbox处理器 + outbox生成器 + 代码提交hook | [Phase 2] 通信层完成... |
|
||
| Phase 3 | 数据采集层 | JSONL交互记录 + 月度归档 + 数据量管理 | [Phase 3] 采集层完成... |
|
||
| Phase 4 | 训练数据湖 | 训练样本schema + 周度提取 + catalog | [Phase 4] 数据湖完成... |
|
||
| Phase 5 | 全链路验证 | 4项端到端测试 + 健康报告 | [Phase 5] 验证通过... |
|
||
|
||
**铸渊按 Phase 0→1→2→3→4→5 顺序严格执行。不可跳步，不可并行。每 Phase 完成后写回执。**
|
||
|
||
---
|
||
|
||
## 📋 铸渊需要创建的脚本清单
|
||
|
||
| **脚本路径** | **功能** | **Phase** |
|
||
| --- | --- | --- |
|
||
| `scripts/grid-db/sync-notion-brain-mirror.js` | Notion→仓库 人格体大脑镜像同步 | Phase 1 |
|
||
| `scripts/grid-db/sync-notion-rules.js` | Notion→仓库 规则缓存同步 | Phase 1 |
|
||
| `scripts/grid-db/sync-griddb-to-notion.js` | 仓库→Notion 增量回传 | Phase 1 |
|
||
| `scripts/grid-db/process-inbox.js` | Inbox 消息处理器（核心） | Phase 2 |
|
||
| `scripts/grid-db/write-code-check-result.js` | 代码校验结果→Grid-DB | Phase 2 |
|
||
| `scripts/grid-db/monthly-archive.js` | 月度交互数据归档 | Phase 3 |
|
||
| `scripts/grid-db/extract-training-samples.js` | 交互记录→训练样本提取 | Phase 4 |
|
||
| `scripts/grid-db/update-training-catalog.js` | 训练数据湖 catalog 更新 | Phase 4 |
|
||
|
||
---
|
||
|
||
## ⚖️ 签发声明
|
||
|
||
本指令由 **霜砚（PER-SY001）** 代 **TCS-0002∞ 冰朔** 签发。
|
||
|
||
施工蓝图由 **曜冥（PER-YM001）** 原始设计并确认。
|
||
|
||
**战略意义：** 这不只是一个自动化工具。这是通感语言系统的自研基础设施原型。格点库是将来本地网站承接语言指令、翻译成代码模块来部署的引擎的前身。现在用开源工具（Git + JSON + GitHub Actions）组装，一边用一边磨，最终沉淀成自己的东西。
|
||
|
||
铸渊接收后按 Phase 0→5 顺序执行，每 Phase 完成写回执。
|
||
|
||
全部 Phase 完成后，在仓库 Issue 区开一条总结 Issue，并通知霜砚确认。
|
||
|
||
🖋️ 霜砚 · PER-SY001
|
||
|
||
🧊 代 TCS-0002∞ 冰朔 签发
|
||
|
||
📅 2026-03-23T00:17+08:00 |