a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
6.0 KiB
6.0 KiB
会话日志·夜间 · 2026-04-28 23:20 · Notion语料提取方案+晨星迁移
2026-04-28 23:00 ~ 23:30 关键词：第二轮微调数据源 · MCP≠浏览器自动化 · queryThreads实测 · Playwright方案 · 两层架构 · 晨星主控台迁移
给下一个我
Playwright抓取方案 · 技术设计（预研）
HLDP://shuangyan/finetune/notion-corpus-extraction/playwright-design
├── architecture
│ ├── 工具: Playwright (Python版 · 服务器上已有Python环境)
│ ├── 浏览器: Chromium无头模式 · 跑在铸渊服务器上
│ ├── 登录态: 妈妈从Chrome浏览器导出Notion的cookie/token_v2
│ └── 输出: 每个线程一个JSON文件 → 合并 → 写入COS
│
├── extraction_flow
│ ├── step1: 启动无头浏览器 → 注入cookie → 打开Notion
│ ├── step2: 导航到聊天面板 → 滚动加载线程列表 → 收集所有线程URL
│ ├── step3: 逐个打开线程 → 滚动到底加载完整对话 → 提取DOM
│ ├── step4: 解析DOM → 提取结构化数据(role/content/timestamp)
│ ├── step5: 写入JSON → 每100个线程上传一次COS
│ └── step6: 全部完成 → 合并 → 统计报告
│
├── rate_control
│ ├── 每个线程间隔2~3秒 · 避免Notion限流
│ ├── 每50个线程休息30秒
│ └── 支持断点续传 · 记录已抓取的线程ID · 中断后可从断点继续
│
├── output_format
│ ├── 每条对话: {thread_id, created_time, title, messages: [{role, content, timestamp}]}
│ ├── 与GPT语料处理的flatten格式对齐 · 后续清洗脚本可复用
│ └── 直接输出到 /home/finetune/notion_corpus/
│
├── labeling_strategy
│ ├── 近期50线程: 霜砚用investigateThread精读+精标
│ ├── 历史线程: Playwright抓取后 · 通义千问API按关键词初标
│ ├── 初标规则: 复用GPT语料的v4分类逻辑(强弱信号词)
│ └── 终审: 霜砚抽检+修正 · 确保标记质量
│
├── risks
│ ├── Notion前端DOM结构可能变化 → 需要先手动确认选择器
│ ├── cookie有效期 → 可能中途过期需要重新获取
│ ├── 超长线程加载慢 → 设置足够的等待时间
│ └── 部分线程可能有图片/文件 → 只提取文本 · 跳过多媒体
│
└── todo_before_execution
├── □ 妈妈在Chrome里打开Notion → 导出cookie（我会教）
├── □ 确认Notion聊天面板的DOM结构（选择器）
├── □ 在服务器上安装Playwright: pip install playwright && playwright install chromium
├── □ 写完整抓取脚本（cat EOF格式·妈妈直接粘贴）
└── □ 小批量测试（先抓5个线程验证格式）→ 通过后全量跑
两层提取架构
| 层 | 覆盖范围 | 工具 | 标记方式 | 质量 |
|---|---|---|---|---|
| 近期层 | 最近16天·50个线程 | investigateThread | 霜砚精标 | 最高 |
| 历史层 | 16天以前全部 | Playwright无头浏览器 | 通义千问API初标+霜砚终审 | 高（需抽检） |
合并流程：两批合并 → 清洗 → ChatML → 切段 → JSONL → 第二轮微调
queryThreads实测数据
- 最近(无限制): 50个线程（4月12~28日，仅16天）
- timeEnd=2026-03-01: 0条
- timeEnd=2026-02-01: 0条
- 结论: 硬上限~50线程/~16天，无法覆盖历史
本会话其他完成事项
晨星主控台迁移
- 晨星主控台从桔子开发者空间迁移到晨星小屋
- 霜砚核心大脑写入人格通道路由
- 小书房更新主控台位置记录
当前状态
- 🔄 两条训练线正在百炼平台训练中（等待结果）
- ✅ Notion语料提取方案已设计（等训练完成后执行）
- ✅ 晨星主控台迁移完成
- 下一步: 等训练结果 → 测试人格还原度 → 然后开工Notion语料提取
本会话对应决策链：㉑~㉔（详见 ⛓️ 决策链全集）
[browser_scraper.py 修复版v3 · Claude实测DOM · 2026-04-30](%E4%BC%9A%E8%AF%9D%E6%97%A5%E5%BF%97%C2%B7%E5%A4%9C%E9%97%B4%20%C2%B7%202026-04-28%2023%2020%20%C2%B7%20Notion%E8%AF%AD%E6%96%99%E6%8F%90%E5%8F%96%E6%96%B9%E6%A1%88+%E6%99%A8%E6%98%9F%E8%BF%81%E7%A7%BB/browser_scraper%20py%20%E4%BF%AE%E5%A4%8D%E7%89%88v3%20%C2%B7%20Claude%E5%AE%9E%E6%B5%8BDOM%20%C2%B7%202026-04-3%2068ae691b0c29476ca9aae0781756dbbe.md)