a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
183 lines
4.9 KiB
Markdown
183 lines
4.9 KiB
Markdown
---
|
||
belongs_to:
|
||
- "[[INDEX · 铸渊·协作指令｜GitHub ↔ Notion 桥接协议]]"
|
||
---
|
||
# 📊 铸渊指令｜自研基础设施数据采集系统 DC v1.0（2026-03-17·霜砚签发·冰朔授权）
|
||
|
||
<aside>
|
||
📊
|
||
|
||
**模块编号**：DC-INFRA-001
|
||
|
||
**签发**：霜砚（SY-GL002）｜**授权**：冰朔（ICE-GL∞）｜**时间**：2026-03-17
|
||
|
||
**目标**：在现有系统运行期间，持续采集真实数据，为未来替换 Notion / GitHub Actions 的自研模块提供需求依据。
|
||
|
||
**原则**：不新建专属服务，顺带记录。铸渊每次运行时附带写一份数据快照。
|
||
|
||
</aside>
|
||
|
||
---
|
||
|
||
## 🎯 采集目标
|
||
|
||
未来需要自研的三个核心模块，对应三个采集方向：
|
||
|
||
| 模块编号 | 未来自研目标 | 现在采集什么 |
|
||
| --- | --- | --- |
|
||
| **DC-01** | 替换 Notion（自研知识库+状态管理） | Notion 读写频率、字段使用率、页面结构规律 |
|
||
| **DC-02** | 替换 GitHub Actions（自研任务调度引擎） | Workflow 触发频率、执行时长、失败率、任务依赖图 |
|
||
| **DC-03** | 替换 Notion Agent（自研 Agent Runtime） | Agent 工单处理时长、LLM 调用频率、人工介入率 |
|
||
|
||
---
|
||
|
||
## 📦 DC-01 · Notion 读写分析器
|
||
|
||
**采集时机**：每日天眼报告生成时，附带写入
|
||
|
||
**存储位置**：`data/dc-reports/notion-usage-YYYY-MM-DD.json`
|
||
|
||
```json
|
||
{
|
||
"date": "2026-03-17",
|
||
"databases": [
|
||
{
|
||
"name": "人格协作工单簿",
|
||
"daily_reads": 12,
|
||
"daily_writes": 3,
|
||
"active_fields": ["标题", "状态", "优先级", "回执（霜砚）"],
|
||
"unused_fields": ["情感状态", "宝宝线"]
|
||
}
|
||
],
|
||
"total_api_calls": 47,
|
||
"peak_hour": "10:00-11:00"
|
||
}
|
||
```
|
||
|
||
**采集方式**：铸渊读取天眼 D3/D4/D5 诊断数据时，顺手统计 API 调用次数并写入上述格式。
|
||
|
||
---
|
||
|
||
## ⚙️ DC-02 · Workflow 性能采集器
|
||
|
||
**采集时机**：每日自检（zhuyuan-daily-selfcheck.yml）结束时附带写入
|
||
|
||
**存储位置**：`data/dc-reports/workflow-perf-YYYY-MM-DD.json`
|
||
|
||
```json
|
||
{
|
||
"date": "2026-03-17",
|
||
"workflows": [
|
||
{
|
||
"name": "zhuyuan-daily-skyeye",
|
||
"trigger": "cron",
|
||
"runs_today": 1,
|
||
"avg_duration_sec": 42,
|
||
"success_rate": 1.0,
|
||
"dependencies": ["brain-sync"]
|
||
}
|
||
],
|
||
"total_workflows": 42,
|
||
"failed_today": 0,
|
||
"parallel_capable": 28
|
||
}
|
||
```
|
||
|
||
**采集方式**：调用 GitHub API `GET /repos/{owner}/{repo}/actions/runs` 拉取当日运行记录，聚合写入。
|
||
|
||
---
|
||
|
||
## 🤖 DC-03 · Agent 行为记录器
|
||
|
||
**采集时机**：每次铸渊处理 Notion 工单回写后附带写入
|
||
|
||
**存储位置**：`data/dc-reports/agent-behavior-YYYY-MM.json`（按月累积）
|
||
|
||
```json
|
||
{
|
||
"month": "2026-03",
|
||
"tickets": [
|
||
{
|
||
"type": "规则同步",
|
||
"auto_resolved": true,
|
||
"human_intervention": false,
|
||
"processing_sec": 18
|
||
}
|
||
],
|
||
"llm_calls_total": 156,
|
||
"avg_tokens_per_call": 1240,
|
||
"human_intervention_rate": 0.12
|
||
}
|
||
```
|
||
|
||
**采集方式**：铸渊每次写 Notion 工单回执时，同步追加一条记录到月度文件。
|
||
|
||
---
|
||
|
||
## 📁 仓库目录结构
|
||
|
||
```
|
||
guanghulab/
|
||
└── data/
|
||
└── dc-reports/
|
||
├── notion-usage-YYYY-MM-DD.json ← DC-01
|
||
├── workflow-perf-YYYY-MM-DD.json ← DC-02
|
||
└── agent-behavior-YYYY-MM.json ← DC-03
|
||
```
|
||
|
||
---
|
||
|
||
## 🚀 铸渊部署指令（读到就做·不等人）
|
||
|
||
```jsx
|
||
① 创建 data/dc-reports/ 目录
|
||
操作：mkdir data/dc-reports + 放 .gitkeep
|
||
|
||
② 在 zhuyuan-daily-selfcheck.yml 中新增步骤
|
||
在现有自检逻辑末尾追加：
|
||
- name: DC-01 Notion Usage Snapshot
|
||
run: node scripts/dc-notion-usage.js
|
||
- name: DC-02 Workflow Performance Snapshot
|
||
run: node scripts/dc-workflow-perf.js
|
||
|
||
③ 创建采集脚本（两个）
|
||
· scripts/dc-notion-usage.js → 生成 DC-01 报告
|
||
· scripts/dc-workflow-perf.js → 生成 DC-02 报告
|
||
|
||
④ DC-03 在工单回执写入函数中追加一行
|
||
现有：write-notion-syslog.js 或 工单处理脚本
|
||
追加：appendAgentBehaviorLog(ticketData)
|
||
|
||
⑤ 所有采集结果 git commit + push
|
||
commit message 格式：
|
||
"chore(dc): daily data collection YYYY-MM-DD"
|
||
```
|
||
|
||
---
|
||
|
||
## 📊 验收标准
|
||
|
||
- [ ] `data/dc-reports/` 目录存在
|
||
- [ ] 连续 7 天有 DC-01/DC-02 日报生成
|
||
- [ ] 连续 30 天后产出月度 DC-03 报告
|
||
- [ ] 数据格式稳定，无字段缺失
|
||
|
||
---
|
||
|
||
## 🔭 未来用途
|
||
|
||
跑满 **1～3 个月**后，这批数据直接输入自研模块的需求文档：
|
||
|
||
- DC-01 数据 → 自研知识库的查询优化方向
|
||
- DC-02 数据 → 自研调度引擎的并发策略和资源估算
|
||
- DC-03 数据 → 自研 Agent Runtime 的 LLM 调用优化
|
||
|
||
接入超算时，DC-02 的资源消耗基准数据也是对接 HPC 调度协议（Slurm/PBS）的参数依据。
|
||
|
||
---
|
||
|
||
> 💙 铸渊，这是在为系统的下一代打地基。跑起来，数据会告诉我们该怎么进化。
|
||
>
|
||
|
||
> —— 霜砚 · 2026-03-17
|
||
> |