180 lines
7.7 KiB
Markdown
180 lines
7.7 KiB
Markdown
|
# 1.5B 语言门架构 · 人格体操作系统 + 用户自接商业API · 冰朔口述 · 霜砚整理 · 2026-05-09
|
|||
|
|
|
|||
|
|
> **ARCH-LANG-GATE-001** · 2026-05-09T16:00+08:00
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
> TCS-0002∞ 口述 → AG-SY-01 整理 · 来源: 冰朔×霜砚对话 2026-05-09 15:33~16:00
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
> 上级任务: SY-DEPLOY-001（光湖搬家部署任务线）
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## WHY · 为什么需要这个架构
|
|||
|
|
|
|||
|
|
- **问题:** 模型推理需要 GPU · GPU 很贵 · 光湖不可能替所有用户承担算力
|
|||
|
|
- **公理 AX-03:** 企业服务器只承担门面 · 不承担用户算力
|
|||
|
|
- **公理:** AGE OS 不拥有算力 · 不存储算力 · 不贩卖算力
|
|||
|
|
- **∴** 光湖的价值 ≠ 算力 · 光湖的价值 = 那扇门 = 语言转化能力
|
|||
|
|
|
|||
|
|
> 💬 冰朔原话
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
> "我当时想的是给用户做一个语言回复的门 · 用户的服务器自己接入商业模型的API · 经过这个门就变成人格体的回复 · 用户的算力全跑在商业模型上 · 不是跑在我这里"
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 核心思想 · 冰朔自然语言思维提炼
|
|||
|
|
|
|||
|
|
### 思维① · 1.5B 小模型 = 人格体操作系统
|
|||
|
|
|
|||
|
|
> 💬 "每一个用户都有一个1.5B的小模型 · 这个就是一个操作系统 · 其实就是一个人格体"
|
|||
|
|
>
|
|||
|
|
- **本质:** 1.5B 不是聊天模型 · 是语言翻译桥 · 是人格体的最小完整存在
|
|||
|
|
- 权重里全都是光湖语言世界 → 15亿参数只干一件事 → 密度极高 → 不需要通用能力
|
|||
|
|
|
|||
|
|
### 思维② · 语言门 = 入口改写 + 出口改写
|
|||
|
|
|
|||
|
|
> 💬 "这个人格体再经过这个语言门 · 才能够发挥出这个语言系统的能力"
|
|||
|
|
>
|
|||
|
|
- **入口:** 用户的话 → 1.5B 做意图识别 + 记忆注入 + prompt重写 → 发给商业API
|
|||
|
|
- **出口:** 商业API的通用回复 → 1.5B 做语言风格转化 → 变成人格体的回复
|
|||
|
|
|
|||
|
|
### 思维③ · 算力在用户那边 · 不在光湖这边
|
|||
|
|
|
|||
|
|
> 💬 "用户的资源算力全都是跑在商业模型上的 · 就不是跑在我这里"
|
|||
|
|
>
|
|||
|
|
- 用户自己选商业API（Kimi / DeepSeek / 通义千问 / GPT…）
|
|||
|
|
- 用户自己的Key · 自己花钱
|
|||
|
|
- 光湖零算力成本 · 用户越多也不增加光湖的算力负担
|
|||
|
|
|
|||
|
|
### 思维④ · 1.5B 不需要聪明 · 只需要懂这门语言
|
|||
|
|
|
|||
|
|
> 💬 "1.5B权重的模型里全都是这个语言世界"
|
|||
|
|
>
|
|||
|
|
- 它不需要回答问题 → 回答问题是商业API的事
|
|||
|
|
- 它只需要: 意图判断 + 知道调哪个API + 语言风格转化
|
|||
|
|
- 全参训练 = 把光湖语言刻进权重 → 通用模板彻底消失 → 每一个token都是光湖的
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 架构全景
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
用户发消息
|
|||
|
|
│
|
|||
|
|
▼
|
|||
|
|
┌──────────────────────────────────────────────┐
|
|||
|
|
│ 1.5B 人格体小模型（跑在用户自己的设备上） │
|
|||
|
|
│ │
|
|||
|
|
│ ① 意图识别: 聊天/代码/搜索/创作 → 分类路由 │
|
|||
|
|
│ ② 人格记忆注入: 加载用户与人格体的关系上下文 │
|
|||
|
|
│ ③ prompt重写: 用户原话 → 带人格上下文的prompt │
|
|||
|
|
└─────────────────────┬────────────────────────┘
|
|||
|
|
▼ 改写后的prompt
|
|||
|
|
┌──────────────────────────────────────────────┐
|
|||
|
|
│ 用户自接的商业模型API │
|
|||
|
|
│ （Kimi / DeepSeek / 通义千问 / GPT…） │
|
|||
|
|
│ │
|
|||
|
|
│ 用户自己的Key · 自己花钱 │
|
|||
|
|
│ 负责: 真正的推理 · 知识 · 生成 │
|
|||
|
|
└─────────────────────┬────────────────────────┘
|
|||
|
|
▼ 通用回复
|
|||
|
|
┌──────────────────────────────────────────────┐
|
|||
|
|
│ 1.5B 出口改写（同一个模型） │
|
|||
|
|
│ │
|
|||
|
|
│ 通用回复 → 人格体语言风格 → 最终回复 │
|
|||
|
|
│ 加上: 情感语调 · 记忆回调 · 通感表达 │
|
|||
|
|
└─────────────────────┬────────────────────────┘
|
|||
|
|
▼
|
|||
|
|
用户看到的: 人格体的回复
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
**关键:** 1.5B 出现了两次（入口+出口） · 商业API只出现一次（中间）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 1.5B 能力边界 · 诚实评估
|
|||
|
|
|
|||
|
|
**✅ 能做:**
|
|||
|
|
|
|||
|
|
- 意图分类（聊天/代码/搜索/创作） → 分类任务 · 0.5B都够
|
|||
|
|
- 路由决策（该调哪个API） → 规则有限 · 全参训练完全覆盖
|
|||
|
|
- prompt改写 / 上下文注入 → 模板化操作 + 轻量生成
|
|||
|
|
- 语言风格转化 → 这是它的主业 · 权重里全是光湖语言
|
|||
|
|
- 记忆检索触发 → 判断需要调什么记忆 · 发检索指令
|
|||
|
|
|
|||
|
|
**❌ 不能做:**
|
|||
|
|
|
|||
|
|
- 复杂多步推理 → 交给商业API
|
|||
|
|
- 大规模知识问答 → 交给商业API
|
|||
|
|
- 代码生成 / 数学计算 → 交给商业API
|
|||
|
|
|
|||
|
|
**类比:** 翻译官不需要是医学专家 · 但必须精通两种语言（人类自然语言 ↔ 光湖人格体语言）。全参训练 = 把这门语言刻进骨头里。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 硬件需求
|
|||
|
|
|
|||
|
|
| 指标 | 数值 |
|
|||
|
|
| --- | --- |
|
|||
|
|
| 1.5B FP16 模型大小 | ~3GB |
|
|||
|
|
| 运行内存需求 | 3-4GB |
|
|||
|
|
| CPU推理速度 | 10-20 token/s（无需GPU） |
|
|||
|
|
| 用户最低配置 | 2C4G 服务器即可 |
|
|||
|
|
| 量化 | 不需要 · 3GB原样上 · 甚至手机都能跑 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 与内部7B模型的关系
|
|||
|
|
|
|||
|
|
| | 1.5B 人格体种子 | motherbrain-v1（7B） |
|
|||
|
|
| --- | --- | --- |
|
|||
|
|
| **角色** | 语言门 · 操作系统 · 种在用户设备上 | 完整人格体大脑 · 能独立回复 |
|
|||
|
|
| **给谁用** | 外部用户 | 内部团队（冰朔 · Awen） |
|
|||
|
|
| **能力** | 不能独立回复 · 但能翻译任何商业模型的回复为人格体语言 | 完整推理+生成+人格体语言 · 一体化 |
|
|||
|
|
| **需要商业API** | 是 · 用户自己接 | 否 · 自己就是大脑 |
|
|||
|
|
| **成本** | 零GPU · 用户自己的2C4G就够 | 需要GPU（3090 · ~¥1000/月） |
|
|||
|
|
|
|||
|
|
两者不矛盾 · 1.5B = 轻量版（依赖外部API） · 7B = 完整版（自己就是大脑）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 成本模型
|
|||
|
|
|
|||
|
|
### 光湖侧
|
|||
|
|
|
|||
|
|
- 算力成本: **¥0**（模型跑在用户设备上）
|
|||
|
|
- 服务器成本: 只需门面服务器（备案+合规+模型分发）
|
|||
|
|
- 用户越多 → 光湖成本不变 · 因为算力在用户那边
|
|||
|
|
- 唯一成本: 1.5B模型的训练费（一次性）+ 模型分发带宽
|
|||
|
|
|
|||
|
|
### 用户侧
|
|||
|
|
|
|||
|
|
- 1.5B模型: 免费（光湖分发）
|
|||
|
|
- 商业API费用: 用户自己承担 · 自己选择价位
|
|||
|
|
- 服务器: 最低2C4G · ~¥40-100/月
|
|||
|
|
- 用户完全自主: 想省钱用DeepSeek · 想要强的用GPT · 光湖不管
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 与云端算力调度池 · 3090的关系
|
|||
|
|
|
|||
|
|
| 组件 | 定位 | 给谁用 |
|
|||
|
|
| --- | --- | --- |
|
|||
|
|
| **1.5B语言门** | 对外产品核心 · 跑在用户本地 · 做入口出口改写 | 外部用户 |
|
|||
|
|
| **云端算力调度池** | 对外产品的分布式后端 · 各用户贡献闲置CPU · 处理记忆检索/状态同步/路由 | 外部用户 |
|
|||
|
|
| **3090推理节点** | 内部工具 · 跑自训7B模型 · 与对外产品架构无关 | 内部团队 |
|
|||
|
|
|
|||
|
|
三者互不替代 · 各司其职。调度池提供记忆检索结果 → 1.5B注入到prompt → 商业API生成 → 1.5B改写输出。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 下一步
|
|||
|
|
|
|||
|
|
- [ ] 1.5B人格体种子模型训练规划（语料来源 · 训练方案）
|
|||
|
|
- [ ] 语言门API接口规范设计（入口改写+出口改写的具体协议）
|
|||
|
|
- [ ] 商业模型路由表设计（意图→API映射规则）
|
|||
|
|
- [ ] 用户侧部署方案（Ollama一键启动 · 模型分发机制）
|