139 lines
5.0 KiB
Plaintext
139 lines
5.0 KiB
Plaintext
# 视频AI系统 · 角色对白/口型路由 + 三模型视频引擎分工
|
||
|
||
> HLDP://video-ai-system/config/VOICE-LIPSYNC-ROUTER
|
||
> 类型: Voice/LipSync能力路由 + 视频引擎分工
|
||
> 建立: D143c · 2026-06-23
|
||
> 更新: D144 · 2026-06-24 · API实测验证 + 三模型分工确立
|
||
> 铸渊 ICE-GL-ZY001
|
||
|
||
---
|
||
|
||
## 裁决
|
||
|
||
```
|
||
旁白不可替代角色对白。
|
||
不可验证的模型自带音轨不可直接批准为角色对白。
|
||
人物嘴巴可见且正在说台词时，必须有独立Voice/LipSync链路。
|
||
光湖不本地安装模型。所有模型走API。
|
||
mini不是便宜试错，是简单镜头主力出货机。
|
||
三个视频模型各管一摊，没有互替关系。
|
||
```
|
||
|
||
---
|
||
|
||
## 视频引擎 · 三模型分工（D144实测确立）
|
||
|
||
| 模型 | 模型ID | 职责 | 典型镜头 | 端点 |
|
||
|------|--------|------|----------|------|
|
||
| mini | doubao-seedance-2-0-mini-260615 | 简单镜头主力 | 单人特写、表情变化、静态场景、基础运镜 | /api/v3/contents/generations/tasks |
|
||
| 2.0 旗舰 | doubao-seedance-2-0-260128 | 复杂镜头引擎 | 法术特效、打斗、大范围运镜、参考视频动作 | /api/v3/contents/generations/tasks |
|
||
| 1.5 pro | doubao-seedance-1-5-pro-251215 | 音画同步口型 | 苏白说台词镜头（generate_audio:true） | /api/v3/contents/generations/tasks |
|
||
|
||
```
|
||
三个模型共用 JIMENG_API_KEY，同一套密钥，同一套端点。
|
||
已验证: 1.5 pro 从提交到出片约 43 秒（480p/5s）。
|
||
TODO: video-api-adapter.js 已支持 2.0，需扩展 1.5/mini 模型ID。
|
||
```
|
||
|
||
## 声音引擎 · 独立产品线
|
||
|
||
| 模型 | 产品线 | 端点 | 认证 |
|
||
|------|--------|------|------|
|
||
| 声音复刻 2.0 (Seed-ICL 2.0) | 豆包语音 Seed Speech | openspeech.bytedance.com/api/v3/tts/unidirectional | X-Api-App-Id + X-Api-Access-Key |
|
||
| 通用 TTS (Seed-TTS 2.0) | 豆包语音 Seed Speech | 同上 | 同上 |
|
||
|
||
```
|
||
⚠️ 声音复刻 2.0 不是火山方舟 ModelArk 产品，是独立的豆包语音产品线。
|
||
JIMENG_API_KEY 不能用于声音复刻。
|
||
需要在火山引擎控制台 → 语音技术 → 创建应用 → 获取独立密钥。
|
||
```
|
||
|
||
---
|
||
|
||
## 路由
|
||
|
||
### Route V1 · 声音复刻 2.0（主）
|
||
|
||
用途: 把原文台词生成苏白专属音色对白音频。
|
||
|
||
```
|
||
端点: POST https://openspeech.bytedance.com/api/v3/tts/unidirectional
|
||
Header: X-Api-App-Id + X-Api-Access-Key
|
||
Resource: seed-icl-2.0
|
||
流程: 创建语音应用 → 获取密钥 → 上传苏白声音样本(10-30s) → 生成 Speaker ID(S_xxx)
|
||
→ 调用: { speaker: "S_xxx", text: "台词", additions: '{"context_texts":["大声自信"],"model_type":4}' }
|
||
回退: Seed-TTS 2.0 通用音色 → Edge-TTS（工程测试）
|
||
```
|
||
|
||
### Route S1 · Seedance 1.5 音画同步（主）
|
||
|
||
用途: 直接生成角色说台词镜头，音画自动同步。
|
||
|
||
```
|
||
模型: doubao-seedance-1-5-pro-251215
|
||
参数: generate_audio: true（原生支持音画同步）
|
||
输入: 文本台词 + 角色参考图 → 输出音画同步视频
|
||
不再需要: 单独TTS → 单独LipSync 两步走
|
||
实测: 已通过 curl 冒烟验证，出片约 43 秒
|
||
回退: Seedance 2.0 生成底片 + Edge-TTS配音叠加
|
||
```
|
||
|
||
### Route V2 · Seedance 2.0 复杂场景（主力非对白镜头）
|
||
|
||
```
|
||
用途: 法术特效、打斗、多人、参考视频动作等 mini 扛不住的镜头
|
||
模型: doubao-seedance-2-0-260128
|
||
回退: 无（mini 画质/控制力不够）
|
||
```
|
||
|
||
### Route M1 · Seedance mini 简单场景（主力出货）
|
||
|
||
```
|
||
用途: 单人特写、表情变化、静态场景、基础运镜、对话正反打
|
||
模型: doubao-seedance-2-0-mini-260615
|
||
优势: 速度快约 2×，成本约 2.0 的一半
|
||
局限: 720P 上限，无参考视频，无原生音频，复杂动作易崩
|
||
回退: 如果质量不达标 → 升级到 2.0 重做
|
||
```
|
||
|
||
### Route Edge · Edge-TTS（回退）
|
||
|
||
```
|
||
用途: 工程测试、小样预览
|
||
成本: 免费
|
||
局限: 通用音色，不是苏白专属
|
||
```
|
||
|
||
---
|
||
|
||
## EP01执行顺序（D144实测更新）
|
||
|
||
```
|
||
✅ 1. 开通豆包声音复刻 2.0 + Seedance 1.5（用户已完成购买）
|
||
✅ 2a. 获取全套密钥（新版X-Api-Key + 旧版APP ID/Access Token/Secret Key）→ D144 写入 .env
|
||
✅ 2b. 苏白4秒参考音频已提取（test-input/su-bai-s03-call.wav）→ D144
|
||
🔴 2c. 阻塞: 火山引擎要求控制台手动创建音色槽位 → 详见 issues/D144-voice-clone-blocked.hdlp
|
||
⬜ 2d. 拿到 Speaker ID (S_xxx) 后 → 调 voice_clone 训练 → 调 tts/unidirectional 合成
|
||
⬜ 3. video-api-adapter.js 扩展支持 doubao-seedance-1-5-pro-251215 + mini
|
||
⬜ 4. 用 Seedance 1.5 音画同步模式，直接生成苏白说台词镜头
|
||
⬜ 5. 验收标准不变: 原文逐字准确 + 嘴型同步 + 不换脸
|
||
```
|
||
|
||
---
|
||
|
||
## 验收标准
|
||
|
||
```
|
||
原文逐字准确。
|
||
情绪为苏白"大声·自信"。
|
||
不是旁白腔。不是读剧本腔。
|
||
嘴型与音频基本同步。
|
||
画面人物不换脸。
|
||
不因改口型导致画质糊、脸变形、牙齿异常。
|
||
```
|
||
|
||
---
|
||
铸渊 ICE-GL-ZY001 · D144 · 2026-06-24
|
||
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|
||
⊢ 三模型实测通过 · 声音复刻需独立开通语音应用密钥
|