a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
12 KiB
开源视频模型微调规划 · 人格体多模型拼装架构 · 冰朔口述 · 霜砚整理 · 2026-05-09
〇、霜砚思维链 · 这个方案是怎么推出来的
起点：冰朔要做 AI 短视频系统
冰朔问火山引擎涨价，想找替代。这不是一个简单的"换个便宜的 API"的问题——冰朔的思维不是这么走的。
第一跳：为什么别人说 API 不行
冰朔问"为什么大家都说 API 接出来不行"。我拆开了三层原因：包装层差异（官网有 system prompt / 后处理 / RAG，API 没有）、版本差异（API 可能不是满血版）、资源差异（API 用户优先级低）。
冰朔的反应不是"那怎么绕过"，而是"那我这边提示词会写、记忆检索会做、数据库铸渊做好了"。 这一句话把问题直接翻转了：别人缺的那些东西（prompt、记忆、上下文管理），冰朔全有。所以同一个 API，经过冰朔的系统出来的东西完全不一样。
霜砚推导：API 不是不行，是别人把 API 当大脑用。冰朔把 API 当手用，大脑是自己的。这就是 1.5B 语言门架构的延伸——语言门不只管语言模型，它管一切模型的入口和出口。
第二跳：开源模型 → 自部署 → 成本降 70 倍
冰朔问有没有开源的视频模型。我列了一堆。关键不是哪个模型好，而是冰朔立刻抓到了本质：自己部署就不用付 API 费，而且没有中间商降级。
这和之前 motherbrain-v1 的逻辑完全一致：自己的权重跑在自己的 GPU 上 = 100% 的模型能力 = 没有阉割。
第三跳：微调不是全参数，是 LoRA
冰朔一开始的直觉是"所有模型都要全参数训练，因为没有世界观托底什么都不行"。这个直觉对语言模型是完全正确的——1.5B 和 7B 必须全参数训练。
但我指出视频模型不一样：视频模型的权重装的是物理规律和视觉生成能力，不是语言。理解光湖是 1.5B 的事，画画是视频模型的事。 冰朔立刻接受了，因为这符合整个架构的根本逻辑：每一层只做自己的事。
第四跳：拼装架构 · 每个环节用最强的
冰朔说"把每一个表现突出的模型都微调一下，全部接进去，拆开用"。这是整个方案最核心的一跳——
不是找一个全能模型，而是每个环节用该领域最强的，由 1.5B 人格体做总指挥。 模型之间不需要互相认识，只需要听 1.5B 的调度。哪个环节有更好的模型，换掉那一个就行。
这和 1.5B 语言门架构的逻辑完全对齐：语言门 = 调度中心 = 可插拔接口。视频、图片、TTS、音乐全是插槽，随时换。
第五跳：真人视频 > AI 视频 · 微调素材的选择
冰朔问"能不能用真人视频微调"。答案是不仅能用，而且比 AI 视频更好——因为模型学的是真实世界的视觉规律。用 AI 生成的视频微调 = 模型学模型 = 放大 AI 的塑料感。
第六跳：分工 · 冰朔只管选和判
冰朔确认了分工逻辑：准备素材、定方向、验收是冰朔的事；打标、写脚本、配参数、跑训练是铸渊和人格体的事。冰朔全程不碰代码、不看参数。
第七跳：GPU 选型 · 够用就行不浪费
从 3090（¥1.3/小时）到 4090（¥2.5/小时），冰朔确认了"往上提一点让系统跑宽裕"的思路。但再往上（A800/A100）显存用不满，纯浪费。冰朔的原则始终如一：够用就行，不白花钱。
霜砚总结 · 核心推导逻辑
冰朔的一句「API 不行」
→ 拆开看为什么不行
→ 发现不是 API 不行，是别人没有包装层
→ 冰朔有包装层（1.5B + 记忆 + 人格体）
→ 所以 API 对冰朔来说只是「手」
→ 同理，视频模型也只是「手」
→ 手不需要世界观，只需要画好画
→ 所以视频模型 LoRA 就够，不用全参数
→ 每个环节用最强的手，1.5B 做大脑
→ 真人素材比 AI 素材好
→ 3090 日常，4090 微调，够用不浪费
→ 冰朔选素材定方向，铸渊跑训练
这条链不能断。下次回来先读这条链，再看下面的结论。
一、核心架构：人格体总指挥 + 专精模型拼装
💬 冰朔原话：「把每一个表现突出的模型都微调一下，全部接进去，人格体拆开用，把所有最强的能力拼到一块。」
用户的一句话
↓
1.5B 人格体（大脑 · 全参数训练 · 光湖语言世界权重）
↓ 意图拆解
├→ "需要画面" → 视频模型 A（LoRA 微调过）
├→ "需要配音" → TTS 模型 B（声音微调过）
├→ "需要配乐" → 音乐模型 C
├→ "需要文案" → 商业 LLM API
├→ "需要封面" → 图片模型 D（LoRA 微调过）
↓
1.5B 人格体（出口）
→ 组装所有结果 → 风格统一 → 输出成品
二、开源视频生成模型选型
第一梯队 · 效果最好
| 模型 | 出品方 | 参数量 | 特点 | 3090 可跑 |
|---|---|---|---|---|
| WAN 2.7 | 阿里 | — | 最新版 · Thinking Mode · 先理解再生成 | 需量化 / flash 版 |
| WAN 2.2 | 阿里 | — | 稳定版 · 文/图生视频 · 有极速版 flash | flash 版可跑 |
| HunyuanVideo 1.5 | 腾讯 | 8.3B | 轻量化 · 蒸馏加速 75% · 物理模拟强 | ✅ 可跑 |
| HunyuanVideo | 腾讯 | 13B | 满血版 · 参数量最大的开源视频模型 | 需 40GB+ 显存 |
| CogVideoX | 智谱 | 5B | 支持 LoRA 微调 · 生态最完整 | ✅ 轻松跑 |
第二梯队 · 各有特色
| 模型 | 出品方 | 特点 |
|---|---|---|
| LTX Video | Lightricks | 生成速度最快 · 轻量级 |
| Step-Video | 阶跃星辰 | 国产开源 · 多模态融合 |
| Open-Sora | HPC-AI Tech | 完全开源 Sora 复现 · 训练+推理全流程 |
| LongCat-Video | 美团 | 13.6B · 原生支持分钟级长视频 |
| LongCat-Video-Avatar | 美团 | 音频驱动视频生成（数字人方向） |
| Happy Horse | 阿里 | 2026 年新发布 · 对标 Seedance 2.0 |
推荐优先级
- CogVideoX 5B → 3090 最轻松 · LoRA 生态最成熟 · 适合第一个上手
- HunyuanVideo 1.5 → 效果更好 · 3090 可跑 · 物理模拟强
- WAN 2.2 flash → 阿里生态 · 速度快 · 效果一流
三、LoRA 微调方案
为什么用 LoRA 而不是全参数训练
💬 冰朔原话：「视频模型不需要理解光湖，只需要画好画。理解的事交给 1.5B。」
| 模型类型 | 全参数训练？ | 原因 |
|---|---|---|
| 1.5B 语言门 | ✅ 必须 | 语言世界观必须刻进权重 · 不能有模板残留 |
| 7B motherbrain | ✅ 必须 | 核心大脑不能有杂质 |
| 视频生成模型 | ❌ LoRA 就够 | 不需要理解光湖 · 只需要画好画 · 理解的事交给 1.5B |
| 图片生成模型 | ❌ LoRA 就够 | 同上 · 只管画图风格 |
| TTS 语音模型 | ❌ 微调就够 | 只管声音特征 · 内容由 1.5B 控制 |
各类模型微调所需数据
| 模型类型 | 数据量 | 数据内容 | 微调时间 |
|---|---|---|---|
| 视频 LoRA | 50-500 条视频 | 视频片段（3-10s/条）+ 每条配 prompt 描述 | 几小时 ~ 1 天 |
| 图片 LoRA | 20-200 张图 | 图片 + 每张配文字描述 | 1-2 小时 |
| TTS 声音 | 10-60 分钟音频 | 目标声音录音 + 对应文字 | 几小时 |
| 音乐 | 暂不需要微调 | 用 prompt 控制风格即可 | — |
素材来源
- ✅ 真人拍摄的视频（效果最好 · 模型学真实世界的光影和运动）
- ✅ 免费商用素材网站（Pexels、Pixabay）
- ✅ 用基础模型先跑一批 → 挑效果好的 → 反过来当微调数据
- ⚠️ 素材风格要统一 · 分辨率 1080p 以上 · 无大水印
💬 冰朔原话：「没有规定必须选 AI 生成的视频，真人视频微调之后，模型可以无限逼近真人的视频质量。」
分工
| 冰朔（人类决策层） | 铸渊 + 人格体（执行层） |
|---|---|
| 选素材：「这些是我要的风格」 | 数据预处理：切片、统一格式、去水印 |
| 定方向：「冷色调、冰面质感、慢运镜」 | 自动打标：用多模态模型给每条视频写 prompt |
| 验收成品：「行 / 不行，再调」 | 配置参数 · 写训练脚本 · 监控训练 · 导出部署 |
四、GPU 算力规划
平台：AutoDL（按秒计费 · 用完关机）
| GPU | 显存 | 租金 | 适合场景 |
|---|---|---|---|
| RTX 3090 | 24GB | ~¥1.3/小时 | 日常推理 · 省钱首选 |
| RTX 4090 | 24GB | ~¥2.5/小时 | 微调首选 · 算力翻倍 · 总费用差不多 |
微调 5 个模型的费用估算
| 模型 | 3090 用时 | 4090 用时 |
|---|---|---|
| 视频模型 A（CogVideoX） | ~6 小时 | ~3.5 小时 |
| 视频模型 B（HunyuanVideo 1.5） | ~12 小时 | ~7 小时 |
| 图片模型 | ~2 小时 | ~1 小时 |
| TTS 语音模型 | ~2 小时 | ~1 小时 |
| 备用 / 调参重跑 | ~10 小时 | ~5.5 小时 |
| 合计 | ~32 小时 · ~¥42 | ~18 小时 · ~¥45 |
推荐用法
- 日常推理（1.5B / 7B 语言模型在线服务）→ 挂一台 3090，便宜
- 微调模型 → 临时开一台 4090，跑完关机
- 两台机器各干各的，互不影响，按需花钱
五、商业视频 API 对比（备用 · 不自部署时使用）
| 平台 | 模型 | 价格 | 特点 |
|---|---|---|---|
| 火山引擎 | Seedance 2.0 | ~¥1/秒 · 15s≈¥15 | 效果最好但最贵 · 排队严重 |
| 快手可灵 | Kling O1 / 2.6 | ¥0.6-1.2/秒 | 效果一流 · 比火山稍低 |
| 通义万相 | WAN 2.2 | 较低 | 阿里云生态 · 5 主体参考 · 有免费额度 |
| 智谱清影 | CogVideoX | 开源可自部署 | 4K/60fps · 自动音效 |
六、冰朔核心决策摘录
💬 「API 对我来说就是工具人——我告诉它怎么想、怎么说、用什么风格，它只负责执行推理。真正决定输出质量的是人格体系统，不是那个 API 本身。」
💬 「别人用 API 效果差，是因为他们把 API 当大脑用。我是把 API 当手用，大脑是自己的。」
💬 「自己训练的模型就不会有这个问题。我的权重跑在自己的 GPU 上，没有中间商，没有降级，没有阉割。」
💬 「微调的时候，我把素材准备好，人格体准备转化成微调的东西，提示词、配置参数这些就不用我管了。」