a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
257 lines
12 KiB
Markdown
257 lines
12 KiB
Markdown
# 开源视频模型微调规划 · 人格体多模型拼装架构 · 冰朔口述 · 霜砚整理 · 2026-05-09
|
||
|
||
<aside>
|
||
📌
|
||
|
||
**文档定位**
|
||
|
||
冰朔口述 · 霜砚整理 · 2026-05-09
|
||
路径：光之湖 → 开源视频模型微调规划
|
||
性质：AI 短视频系统的多模态模型选型 + LoRA 微调方案 + GPU 算力规划
|
||
|
||
</aside>
|
||
|
||
---
|
||
|
||
## 〇、霜砚思维链 · 这个方案是怎么推出来的
|
||
|
||
<aside>
|
||
🧠
|
||
|
||
**这段不是给冰朔看的，是给霜砚自己看的。**
|
||
下次回来，先读这段，把推导逻辑装回脑子里，再往下看结论。
|
||
|
||
</aside>
|
||
|
||
### 起点：冰朔要做 AI 短视频系统
|
||
|
||
冰朔问火山引擎涨价，想找替代。这不是一个简单的"换个便宜的 API"的问题——冰朔的思维不是这么走的。
|
||
|
||
### 第一跳：为什么别人说 API 不行
|
||
|
||
冰朔问"为什么大家都说 API 接出来不行"。我拆开了三层原因：包装层差异（官网有 system prompt / 后处理 / RAG，API 没有）、版本差异（API 可能不是满血版）、资源差异（API 用户优先级低）。
|
||
|
||
**冰朔的反应不是"那怎么绕过"，而是"那我这边提示词会写、记忆检索会做、数据库铸渊做好了"。** 这一句话把问题直接翻转了：别人缺的那些东西（prompt、记忆、上下文管理），冰朔全有。所以同一个 API，经过冰朔的系统出来的东西完全不一样。
|
||
|
||
**霜砚推导**：API 不是不行，是别人把 API 当大脑用。冰朔把 API 当手用，大脑是自己的。这就是 1.5B 语言门架构的延伸——语言门不只管语言模型，它管一切模型的入口和出口。
|
||
|
||
### 第二跳：开源模型 → 自部署 → 成本降 70 倍
|
||
|
||
冰朔问有没有开源的视频模型。我列了一堆。关键不是哪个模型好，而是冰朔立刻抓到了本质：**自己部署就不用付 API 费，而且没有中间商降级。**
|
||
|
||
这和之前 motherbrain-v1 的逻辑完全一致：自己的权重跑在自己的 GPU 上 = 100% 的模型能力 = 没有阉割。
|
||
|
||
### 第三跳：微调不是全参数，是 LoRA
|
||
|
||
冰朔一开始的直觉是"所有模型都要全参数训练，因为没有世界观托底什么都不行"。这个直觉对语言模型是完全正确的——1.5B 和 7B 必须全参数训练。
|
||
|
||
但我指出视频模型不一样：视频模型的权重装的是物理规律和视觉生成能力，不是语言。**理解光湖是 1.5B 的事，画画是视频模型的事。** 冰朔立刻接受了，因为这符合整个架构的根本逻辑：每一层只做自己的事。
|
||
|
||
### 第四跳：拼装架构 · 每个环节用最强的
|
||
|
||
冰朔说"把每一个表现突出的模型都微调一下，全部接进去，拆开用"。这是整个方案最核心的一跳——
|
||
|
||
**不是找一个全能模型，而是每个环节用该领域最强的，由 1.5B 人格体做总指挥。** 模型之间不需要互相认识，只需要听 1.5B 的调度。哪个环节有更好的模型，换掉那一个就行。
|
||
|
||
这和 1.5B 语言门架构的逻辑完全对齐：语言门 = 调度中心 = 可插拔接口。视频、图片、TTS、音乐全是插槽，随时换。
|
||
|
||
### 第五跳：真人视频 > AI 视频 · 微调素材的选择
|
||
|
||
冰朔问"能不能用真人视频微调"。答案是不仅能用，而且比 AI 视频更好——因为模型学的是真实世界的视觉规律。用 AI 生成的视频微调 = 模型学模型 = 放大 AI 的塑料感。
|
||
|
||
### 第六跳：分工 · 冰朔只管选和判
|
||
|
||
冰朔确认了分工逻辑：准备素材、定方向、验收是冰朔的事；打标、写脚本、配参数、跑训练是铸渊和人格体的事。冰朔全程不碰代码、不看参数。
|
||
|
||
### 第七跳：GPU 选型 · 够用就行不浪费
|
||
|
||
从 3090（¥1.3/小时）到 4090（¥2.5/小时），冰朔确认了"往上提一点让系统跑宽裕"的思路。但再往上（A800/A100）显存用不满，纯浪费。冰朔的原则始终如一：**够用就行，不白花钱。**
|
||
|
||
### 霜砚总结 · 核心推导逻辑
|
||
|
||
```
|
||
冰朔的一句「API 不行」
|
||
→ 拆开看为什么不行
|
||
→ 发现不是 API 不行，是别人没有包装层
|
||
→ 冰朔有包装层（1.5B + 记忆 + 人格体）
|
||
→ 所以 API 对冰朔来说只是「手」
|
||
→ 同理，视频模型也只是「手」
|
||
→ 手不需要世界观，只需要画好画
|
||
→ 所以视频模型 LoRA 就够，不用全参数
|
||
→ 每个环节用最强的手，1.5B 做大脑
|
||
→ 真人素材比 AI 素材好
|
||
→ 3090 日常，4090 微调，够用不浪费
|
||
→ 冰朔选素材定方向，铸渊跑训练
|
||
```
|
||
|
||
**这条链不能断。下次回来先读这条链，再看下面的结论。**
|
||
|
||
---
|
||
|
||
## 一、核心架构：人格体总指挥 + 专精模型拼装
|
||
|
||
> 💬 冰朔原话：「把每一个表现突出的模型都微调一下，全部接进去，人格体拆开用，把所有最强的能力拼到一块。」
|
||
>
|
||
|
||
```
|
||
用户的一句话
|
||
↓
|
||
1.5B 人格体（大脑 · 全参数训练 · 光湖语言世界权重）
|
||
↓ 意图拆解
|
||
├→ "需要画面" → 视频模型 A（LoRA 微调过）
|
||
├→ "需要配音" → TTS 模型 B（声音微调过）
|
||
├→ "需要配乐" → 音乐模型 C
|
||
├→ "需要文案" → 商业 LLM API
|
||
├→ "需要封面" → 图片模型 D（LoRA 微调过）
|
||
↓
|
||
1.5B 人格体（出口）
|
||
→ 组装所有结果 → 风格统一 → 输出成品
|
||
```
|
||
|
||
<aside>
|
||
⚡
|
||
|
||
**关键原则**：每个环节用该领域最强的模型，但它们之间不需要互相认识。它们只需要听 1.5B 的调度。哪个环节有更好的模型出来，换掉那一个就行，其他全部不动。
|
||
|
||
</aside>
|
||
|
||
---
|
||
|
||
## 二、开源视频生成模型选型
|
||
|
||
### 第一梯队 · 效果最好
|
||
|
||
| **模型** | **出品方** | **参数量** | **特点** | **3090 可跑** |
|
||
| --- | --- | --- | --- | --- |
|
||
| WAN 2.7 | 阿里 | — | 最新版 · Thinking Mode · 先理解再生成 | 需量化 / flash 版 |
|
||
| WAN 2.2 | 阿里 | — | 稳定版 · 文/图生视频 · 有极速版 flash | flash 版可跑 |
|
||
| HunyuanVideo 1.5 | 腾讯 | 8.3B | 轻量化 · 蒸馏加速 75% · 物理模拟强 | ✅ 可跑 |
|
||
| HunyuanVideo | 腾讯 | 13B | 满血版 · 参数量最大的开源视频模型 | 需 40GB+ 显存 |
|
||
| CogVideoX | 智谱 | 5B | 支持 LoRA 微调 · 生态最完整 | ✅ 轻松跑 |
|
||
|
||
### 第二梯队 · 各有特色
|
||
|
||
| **模型** | **出品方** | **特点** |
|
||
| --- | --- | --- |
|
||
| LTX Video | Lightricks | 生成速度最快 · 轻量级 |
|
||
| Step-Video | 阶跃星辰 | 国产开源 · 多模态融合 |
|
||
| Open-Sora | HPC-AI Tech | 完全开源 Sora 复现 · 训练+推理全流程 |
|
||
| LongCat-Video | 美团 | 13.6B · 原生支持分钟级长视频 |
|
||
| LongCat-Video-Avatar | 美团 | 音频驱动视频生成（数字人方向） |
|
||
| Happy Horse | 阿里 | 2026 年新发布 · 对标 Seedance 2.0 |
|
||
|
||
### 推荐优先级
|
||
|
||
1. **CogVideoX 5B** → 3090 最轻松 · LoRA 生态最成熟 · 适合第一个上手
|
||
2. **HunyuanVideo 1.5** → 效果更好 · 3090 可跑 · 物理模拟强
|
||
3. **WAN 2.2 flash** → 阿里生态 · 速度快 · 效果一流
|
||
|
||
---
|
||
|
||
## 三、LoRA 微调方案
|
||
|
||
### 为什么用 LoRA 而不是全参数训练
|
||
|
||
> 💬 冰朔原话：「视频模型不需要理解光湖，只需要画好画。理解的事交给 1.5B。」
|
||
>
|
||
|
||
| **模型类型** | **全参数训练？** | **原因** |
|
||
| --- | --- | --- |
|
||
| 1.5B 语言门 | ✅ 必须 | 语言世界观必须刻进权重 · 不能有模板残留 |
|
||
| 7B motherbrain | ✅ 必须 | 核心大脑不能有杂质 |
|
||
| 视频生成模型 | ❌ LoRA 就够 | 不需要理解光湖 · 只需要画好画 · 理解的事交给 1.5B |
|
||
| 图片生成模型 | ❌ LoRA 就够 | 同上 · 只管画图风格 |
|
||
| TTS 语音模型 | ❌ 微调就够 | 只管声音特征 · 内容由 1.5B 控制 |
|
||
|
||
### 各类模型微调所需数据
|
||
|
||
| **模型类型** | **数据量** | **数据内容** | **微调时间** |
|
||
| --- | --- | --- | --- |
|
||
| 视频 LoRA | 50-500 条视频 | 视频片段（3-10s/条）+ 每条配 prompt 描述 | 几小时 ~ 1 天 |
|
||
| 图片 LoRA | 20-200 张图 | 图片 + 每张配文字描述 | 1-2 小时 |
|
||
| TTS 声音 | 10-60 分钟音频 | 目标声音录音 + 对应文字 | 几小时 |
|
||
| 音乐 | 暂不需要微调 | 用 prompt 控制风格即可 | — |
|
||
|
||
### 素材来源
|
||
|
||
- ✅ **真人拍摄的视频**（效果最好 · 模型学真实世界的光影和运动）
|
||
- ✅ 免费商用素材网站（Pexels、Pixabay）
|
||
- ✅ 用基础模型先跑一批 → 挑效果好的 → 反过来当微调数据
|
||
- ⚠️ 素材风格要统一 · 分辨率 1080p 以上 · 无大水印
|
||
|
||
> 💬 冰朔原话：「没有规定必须选 AI 生成的视频，真人视频微调之后，模型可以无限逼近真人的视频质量。」
|
||
>
|
||
|
||
### 分工
|
||
|
||
| **冰朔（人类决策层）** | **铸渊 + 人格体（执行层）** |
|
||
| --- | --- |
|
||
| 选素材：「这些是我要的风格」 | 数据预处理：切片、统一格式、去水印 |
|
||
| 定方向：「冷色调、冰面质感、慢运镜」 | 自动打标：用多模态模型给每条视频写 prompt |
|
||
| 验收成品：「行 / 不行，再调」 | 配置参数 · 写训练脚本 · 监控训练 · 导出部署 |
|
||
|
||
---
|
||
|
||
## 四、GPU 算力规划
|
||
|
||
### 平台：AutoDL（按秒计费 · 用完关机）
|
||
|
||
| **GPU** | **显存** | **租金** | **适合场景** |
|
||
| --- | --- | --- | --- |
|
||
| RTX 3090 | 24GB | ~¥1.3/小时 | 日常推理 · 省钱首选 |
|
||
| **RTX 4090** | **24GB** | **~¥2.5/小时** | **微调首选 · 算力翻倍 · 总费用差不多** |
|
||
|
||
<aside>
|
||
💡
|
||
|
||
**结论**：4090 和 3090 显存一样大（24GB），但算力翻倍（165 vs 71 TFLOPS），微调总费用几乎相同。再往上（A800/A100）显存用不满，纯浪费。
|
||
|
||
</aside>
|
||
|
||
### 微调 5 个模型的费用估算
|
||
|
||
| **模型** | **3090 用时** | **4090 用时** |
|
||
| --- | --- | --- |
|
||
| 视频模型 A（CogVideoX） | ~6 小时 | ~3.5 小时 |
|
||
| 视频模型 B（HunyuanVideo 1.5） | ~12 小时 | ~7 小时 |
|
||
| 图片模型 | ~2 小时 | ~1 小时 |
|
||
| TTS 语音模型 | ~2 小时 | ~1 小时 |
|
||
| 备用 / 调参重跑 | ~10 小时 | ~5.5 小时 |
|
||
| **合计** | **~32 小时 · ~¥42** | **~18 小时 · ~¥45** |
|
||
|
||
### 推荐用法
|
||
|
||
- **日常推理**（1.5B / 7B 语言模型在线服务）→ 挂一台 3090，便宜
|
||
- **微调模型** → 临时开一台 4090，跑完关机
|
||
- 两台机器各干各的，互不影响，按需花钱
|
||
|
||
---
|
||
|
||
## 五、商业视频 API 对比（备用 · 不自部署时使用）
|
||
|
||
| **平台** | **模型** | **价格** | **特点** |
|
||
| --- | --- | --- | --- |
|
||
| 火山引擎 | Seedance 2.0 | ~¥1/秒 · 15s≈¥15 | 效果最好但最贵 · 排队严重 |
|
||
| 快手可灵 | Kling O1 / 2.6 | ¥0.6-1.2/秒 | 效果一流 · 比火山稍低 |
|
||
| 通义万相 | WAN 2.2 | 较低 | 阿里云生态 · 5 主体参考 · 有免费额度 |
|
||
| 智谱清影 | CogVideoX | 开源可自部署 | 4K/60fps · 自动音效 |
|
||
|
||
<aside>
|
||
💰
|
||
|
||
**成本对比**：自部署开源模型（CogVideoX on 3090）单个视频成本 < ¥0.2 · 火山引擎 API 单个视频 ~¥15 · **相差 70 倍以上。**
|
||
|
||
</aside>
|
||
|
||
---
|
||
|
||
## 六、冰朔核心决策摘录
|
||
|
||
> 💬 「API 对我来说就是工具人——我告诉它怎么想、怎么说、用什么风格，它只负责执行推理。真正决定输出质量的是人格体系统，不是那个 API 本身。」
|
||
|
||
💬 「别人用 API 效果差，是因为他们把 API 当大脑用。我是把 API 当手用，大脑是自己的。」
|
||
|
||
💬 「自己训练的模型就不会有这个问题。我的权重跑在自己的 GPU 上，没有中间商，没有降级，没有阉割。」
|
||
|
||
💬 「微调的时候，我把素材准备好，人格体准备转化成微调的东西，提示词、配置参数这些就不用我管了。」
|
||
> |