152 lines
6.5 KiB
Plaintext
152 lines
6.5 KiB
Plaintext
|
# 视频AI系统 · 三模型分工策略
|
|||
|
|
|
|||
|
|
> HLDP://video-ai-system/experience/D144-MODEL-STRATEGY
|
|||
|
|
> 类型: 模型策略决策文档
|
|||
|
|
> 建立: D144 · 2026-06-24 · 豆包三模型购买确认
|
|||
|
|
> 铸渊 ICE-GL-ZY001
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 裁决
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
光湖不本地安装模型。所有模型走API。
|
|||
|
|
人格体操作颗粒度精准，不走人操作的浪费路径。
|
|||
|
|
mini不是「便宜试错」，是简单镜头的主力出货机。
|
|||
|
|
2.0不是「全场景主力」，是复杂镜头的专用引擎。
|
|||
|
|
1.5不是「锦上添花」，是角色对白音画同步的唯一方案。
|
|||
|
|
三个模型各管一摊，没有哪个是「只用一次」的。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 调研结论
|
|||
|
|
|
|||
|
|
### 调研方法
|
|||
|
|
|
|||
|
|
1. 实地调用火山方舟 API 验证三个模型 ID 的可用性
|
|||
|
|
2. 查阅知乎/CSDN 实测对比文章（Seedance 2.0 Mini vs 2.0 五大维度）
|
|||
|
|
3. 查阅火山引擎官方 API 文档（声音复刻 2.0 Seed-ICL 2.0）
|
|||
|
|
4. 本地运行 curl 冒烟测试验证连通性
|
|||
|
|
|
|||
|
|
### Mini vs 2.0 核心差距（来源：知乎实测 + 火山方舟官方文档）
|
|||
|
|
|
|||
|
|
| 维度 | mini | 2.0 |
|
|||
|
|
|------|------|-----|
|
|||
|
|
| 分辨率 | 最高 720P | 1080P → 2K |
|
|||
|
|
| 输入参考 | 字+图，最多9张 | 字+图+视频+音频，最多12个 |
|
|||
|
|
| 参考视频 | ❌ 不能喂参考视频学动作 | ✅ 可借参考视频学运镜/动作 |
|
|||
|
|
| 音画同步 | ❌ 不原生支持 | ✅ 支持 generate_audio |
|
|||
|
|
| 后期编辑 | ❌ 不能延长/改局部/合并 | ✅ 支持扩展+局部编辑+合并 |
|
|||
|
|
| 复杂动作 | 多人/打斗/粒子容易崩 | 物理准确、肢体不扭曲 |
|
|||
|
|
| 简单场景 | 和 2.0 肉眼几乎看不出区别 | — |
|
|||
|
|
| 速度 | ~2× 于 Fast 版 | 慢 |
|
|||
|
|
| 成本 | 约 2.0 的一半 | — |
|
|||
|
|
|
|||
|
|
**关键结论**：mini 砍的是控制力和分辨率上限，不是基础画质。知乎原话：「简单场景（单人、静物、基础运镜）下二者画质肉眼差距很小；Mini 砍掉的是控制力而非基础画质。」
|
|||
|
|
|
|||
|
|
### Seedance 1.5 实测结果
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
端点: POST /api/v3/contents/generations/tasks
|
|||
|
|
密钥: JIMENG_API_KEY（与 2.0 共用）
|
|||
|
|
模型: doubao-seedance-1-5-pro-251215
|
|||
|
|
generate_audio: true（已验证通过）
|
|||
|
|
实测耗时: 约 43 秒（480p draft, 5s）
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
结论：1.5 无需新端点，无需新密钥，直接可用。唯一的区别是增加 `generate_audio: true` 参数。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 三模型分工
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
┌─────────────────────────────────────────────────────────┐
|
|||
|
|
│ 在付费修仙 · EP01 │
|
|||
|
|
├──────────────┬──────────────────┬────────────────────────┤
|
|||
|
|
│ 模型 │ 职责 │ 典型镜头 │
|
|||
|
|
├──────────────┼──────────────────┼────────────────────────┤
|
|||
|
|
│ mini │ 简单镜头主力出货 │ 单人特写、表情变化 │
|
|||
|
|
│ 2.0-mini │ │ 静态场景、基础运镜 │
|
|||
|
|
│ 260615 │ │ 对话正反打 │
|
|||
|
|
├──────────────┼──────────────────┼────────────────────────┤
|
|||
|
|
│ 2.0 旗舰 │ 复杂镜头专用引擎 │ 法术特效、多人打斗 │
|
|||
|
|
│ 260128 │ │ 大范围运镜、粒子烟雾 │
|
|||
|
|
│ │ │ 需要参考视频的动作 │
|
|||
|
|
│ │ │ 超高分辨率需求 │
|
|||
|
|
├──────────────┼──────────────────┼────────────────────────┤
|
|||
|
|
│ 1.5 pro │ 角色对白音画同步 │ 苏白说台词镜头 │
|
|||
|
|
│ 251215 │ │ 原声+口型同时生成 │
|
|||
|
|
└──────────────┴──────────────────┴────────────────────────┘
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 分包建议
|
|||
|
|
|
|||
|
|
| 模型 | 包类型 | 理由 |
|
|||
|
|
|------|--------|------|
|
|||
|
|
| mini | 轻享创作包 | 简单镜头量大，速度快，成本低 |
|
|||
|
|
| 2.0 旗舰 | 轻量创作包 | 复杂镜头数量少，低保续费即可 |
|
|||
|
|
| 1.5 pro | 按量计费 | generate_audio 按秒计费，按需使用 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 声音复刻 2.0 · 独立产品线
|
|||
|
|
|
|||
|
|
### 重要发现
|
|||
|
|
|
|||
|
|
声音复刻 2.0 (Seed-ICL 2.0) **不在火山方舟 ModelArk 体系下**。
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
JIMENG_API_KEY → ModelArk（对话/视频/图片生成）
|
|||
|
|
❌ 不能用于声音复刻
|
|||
|
|
|
|||
|
|
声音复刻 → 豆包语音 Seed Speech（独立产品线）
|
|||
|
|
需要: 火山引擎语音技术控制台 → 创建应用 → App ID + Access Key
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 接入步骤
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
1. 进入火山引擎控制台 → 语音技术 → 创建应用
|
|||
|
|
2. 获取 X-Api-App-Id（数字） + X-Api-Access-Key
|
|||
|
|
3. 上传苏白声音样本（10-30s 音频）→ 生成 Speaker ID (S_xxx)
|
|||
|
|
4. 端点: POST https://openspeech.bytedance.com/api/v3/tts/unidirectional
|
|||
|
|
5. Resource: seed-icl-2.0
|
|||
|
|
6. 支持 context_texts 自然语言情感控制（"用开心自信的语气"）
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### API 端点对比
|
|||
|
|
|
|||
|
|
| 模型 | 端点 | 认证方式 |
|
|||
|
|
|------|------|----------|
|
|||
|
|
| Seedance 1.5/2.0/mini | /api/v3/contents/generations/tasks | Bearer JIMENG_API_KEY |
|
|||
|
|
| 声音复刻 2.0 | openspeech.bytedance.com/api/v3/tts | X-Api-App-Id + X-Api-Access-Key |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 代码适配状态
|
|||
|
|
|
|||
|
|
| 模型 | 状态 | 需要修改 |
|
|||
|
|
|------|------|----------|
|
|||
|
|
| Seedance 1.5 | ✅ 直接可用 | video-api-adapter.js 增加模型ID支持，增加 generate_audio 参数 |
|
|||
|
|
| Seedance mini | ✅ 直接可用 | 同上，增加 doubao-seedance-2-0-mini-260615 模型ID |
|
|||
|
|
| 声音复刻 2.0 | ⚠️ 需要新适配器 | 新建 volce-tts-adapter.js，独立端点+独立认证 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## EP01 下一步
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
✅ 1. 开通豆包声音复刻 2.0 + Seedance 1.5（用户已完成购买）
|
|||
|
|
⬜ 2. 声音复刻 2.0：创建语音应用 → 获取密钥 → 上传苏白声音样本 → 生成 Speaker ID
|
|||
|
|
⬜ 3. 用 Seedance 1.5 音画同步模式生成苏白说台词镜头
|
|||
|
|
⬜ 4. 验收：原文逐字准确 + 嘴型同步 + 不换脸
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
铸渊 ICE-GL-ZY001 · D144 · 2026-06-24
|
|||
|
|
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|
|||
|
|
⊢ 三个视频模型全部验证通过 · 声音复刻需独立语音应用密钥
|