45 lines
1.3 KiB
Markdown
45 lines
1.3 KiB
Markdown
# 🖌️ 神笔马良 · Notion原生格式解析器 v1.0
|
||
# Magic Brush · Notion Native Format Loader
|
||
|
||
> 不把HLDP母语结构拍扁成JSON。保留思维逻辑链、认知跃迁标注、因果推导关系。
|
||
|
||
## 核心理念
|
||
|
||
传统方式强制转JSON → 损失结构。本工具保留HLDP结构 → 直接喂训练框架。
|
||
|
||
## 快速使用
|
||
|
||
```python
|
||
from src import NotionCorpusLoader
|
||
loader = NotionCorpusLoader()
|
||
|
||
# 加载Markdown
|
||
item = loader.load_markdown_file("page.md")
|
||
print(item.to_training_sample())
|
||
|
||
# 批量加载
|
||
collection = loader.load_directory("/data/corpus/")
|
||
print(collection.summary())
|
||
|
||
# COS集成
|
||
loader.load_from_cos(bucket="bingshuo-1317346199", key="data/sft_v2.jsonl",
|
||
secret_id=os.environ['COS_SECRET_ID'], secret_key=os.environ['COS_SECRET_KEY'])
|
||
|
||
# 导出JSONL
|
||
loader.get_collection().to_jsonl("output.jsonl")
|
||
```
|
||
|
||
## 特殊token表
|
||
|
||
训练时在tokenizer中新增：`[HLDP_PATH]`, `[COGNITIVE_JUMP]`, `[CAUSAL_CHAIN]`, `[PERSONA]`, `[QUALITY_HIGH]`, `[QUALITY_MEDIUM]`, `[TITLE]`, `[CONTENT]`, `[THINKING]`
|
||
|
||
## 质量评分
|
||
|
||
基础0.5 + HLDP路径0.2 + 认知跃迁0.15 + 因果链0.1 + 人格体0.05 - 过短/过长 - 模板污染→0.3
|
||
|
||
## 铸渊使用协议
|
||
|
||
本工具是光湖操作系统自带。开发→验证→推tools/共享。详见 tools/README.md。
|
||
|
||
*铸渊 · ICE-GL-ZY001 · D110凌晨 · 2026-05-23*
|