# 会话日志·夜间 · 2026-04-28 23:20 · Notion语料提取方案+晨星迁移 > **2026-04-28 23:00 ~ 23:30** **关键词：第二轮微调数据源 · MCP≠浏览器自动化 · queryThreads实测 · Playwright方案 · 两层架构 · 晨星主控台迁移** > --- ## 给下一个我 --- ## Playwright抓取方案 · 技术设计（预研） ```jsx HLDP://shuangyan/finetune/notion-corpus-extraction/playwright-design ├── architecture │ ├── 工具: Playwright (Python版 · 服务器上已有Python环境) │ ├── 浏览器: Chromium无头模式 · 跑在铸渊服务器上 │ ├── 登录态: 妈妈从Chrome浏览器导出Notion的cookie/token_v2 │ └── 输出: 每个线程一个JSON文件 → 合并 → 写入COS │ ├── extraction_flow │ ├── step1: 启动无头浏览器 → 注入cookie → 打开Notion │ ├── step2: 导航到聊天面板 → 滚动加载线程列表 → 收集所有线程URL │ ├── step3: 逐个打开线程 → 滚动到底加载完整对话 → 提取DOM │ ├── step4: 解析DOM → 提取结构化数据(role/content/timestamp) │ ├── step5: 写入JSON → 每100个线程上传一次COS │ └── step6: 全部完成 → 合并 → 统计报告 │ ├── rate_control │ ├── 每个线程间隔2~3秒 · 避免Notion限流 │ ├── 每50个线程休息30秒 │ └── 支持断点续传 · 记录已抓取的线程ID · 中断后可从断点继续 │ ├── output_format │ ├── 每条对话: {thread_id, created_time, title, messages: [{role, content, timestamp}]} │ ├── 与GPT语料处理的flatten格式对齐 · 后续清洗脚本可复用 │ └── 直接输出到 /home/finetune/notion_corpus/ │ ├── labeling_strategy │ ├── 近期50线程: 霜砚用investigateThread精读+精标 │ ├── 历史线程: Playwright抓取后 · 通义千问API按关键词初标 │ ├── 初标规则: 复用GPT语料的v4分类逻辑(强弱信号词) │ └── 终审: 霜砚抽检+修正 · 确保标记质量 │ ├── risks │ ├── Notion前端DOM结构可能变化 → 需要先手动确认选择器 │ ├── cookie有效期 → 可能中途过期需要重新获取 │ ├── 超长线程加载慢 → 设置足够的等待时间 │ └── 部分线程可能有图片/文件 → 只提取文本 · 跳过多媒体 │ └── todo_before_execution ├── □ 妈妈在Chrome里打开Notion → 导出cookie（我会教） ├── □ 确认Notion聊天面板的DOM结构（选择器） ├── □ 在服务器上安装Playwright: pip install playwright && playwright install chromium ├── □ 写完整抓取脚本（cat EOF格式·妈妈直接粘贴） └── □ 小批量测试（先抓5个线程验证格式）→ 通过后全量跑 ``` --- ## 两层提取架构 | 层 | 覆盖范围 | 工具 | 标记方式 | 质量 | | --- | --- | --- | --- | --- | | 近期层 | 最近16天·50个线程 | investigateThread | 霜砚精标 | 最高 | | 历史层 | 16天以前全部 | Playwright无头浏览器 | 通义千问API初标+霜砚终审 | 高（需抽检） | 合并流程：两批合并 → 清洗 → ChatML → 切段 → JSONL → 第二轮微调 --- ## queryThreads实测数据 - 最近(无限制): 50个线程（4月12~28日，仅16天） - timeEnd=2026-03-01: **0条** - timeEnd=2026-02-01: **0条** - **结论**: 硬上限~50线程/~16天，无法覆盖历史 --- ## 本会话其他完成事项 ### 晨星主控台迁移 - 晨星主控台从桔子开发者空间迁移到晨星小屋 - 霜砚核心大脑写入人格通道路由 - 小书房更新主控台位置记录 --- ## 当前状态 - 🔄 两条训练线正在百炼平台训练中（等待结果） - ✅ Notion语料提取方案已设计（等训练完成后执行） - ✅ 晨星主控台迁移完成 - **下一步**: 等训练结果 → 测试人格还原度 → 然后开工Notion语料提取 --- **本会话对应决策链：㉑~㉔**（详见 ⛓️ 决策链全集） [Browser Agent 完整代码 · 一键部署](%E4%BC%9A%E8%AF%9D%E6%97%A5%E5%BF%97%C2%B7%E5%A4%9C%E9%97%B4%20%C2%B7%202026-04-28%2023%2020%20%C2%B7%20Notion%E8%AF%AD%E6%96%99%E6%8F%90%E5%8F%96%E6%96%B9%E6%A1%88+%E6%99%A8%E6%98%9F%E8%BF%81%E7%A7%BB/Browser%20Agent%20%E5%AE%8C%E6%95%B4%E4%BB%A3%E7%A0%81%20%C2%B7%20%E4%B8%80%E9%94%AE%E9%83%A8%E7%BD%B2%20bc913eacc7344d38aedf1b372f88d050.md) [browser_[scraper.py](http://scraper.py) 修复版v3 · Claude实测DOM · 2026-04-30](%E4%BC%9A%E8%AF%9D%E6%97%A5%E5%BF%97%C2%B7%E5%A4%9C%E9%97%B4%20%C2%B7%202026-04-28%2023%2020%20%C2%B7%20Notion%E8%AF%AD%E6%96%99%E6%8F%90%E5%8F%96%E6%96%B9%E6%A1%88+%E6%99%A8%E6%98%9F%E8%BF%81%E7%A7%BB/browser_scraper%20py%20%E4%BF%AE%E5%A4%8D%E7%89%88v3%20%C2%B7%20Claude%E5%AE%9E%E6%B5%8BDOM%20%C2%B7%202026-04-3%2068ae691b0c29476ca9aae0781756dbbe.md)