# 视频AI系统 · 角色对白/口型路由 + 三模型视频引擎分工

> HLDP://video-ai-system/config/VOICE-LIPSYNC-ROUTER
> 类型: Voice/LipSync能力路由 + 视频引擎分工
> 建立: D143c · 2026-06-23
> 更新: D144 · 2026-06-24 · API实测验证 + 三模型分工确立
> 铸渊 ICE-GL-ZY001

---

## 裁决

```
旁白不可替代角色对白。
不可验证的模型自带音轨不可直接批准为角色对白。
人物嘴巴可见且正在说台词时，必须有独立Voice/LipSync链路。
光湖不本地安装模型。所有模型走API。
mini不是便宜试错，是简单镜头主力出货机。
三个视频模型各管一摊，没有互替关系。
```

---

## 视频引擎 · 三模型分工（D144实测确立）

| 模型 | 模型ID | 职责 | 典型镜头 | 端点 |
|------|--------|------|----------|------|
| mini | doubao-seedance-2-0-mini-260615 | 简单镜头主力 | 单人特写、表情变化、静态场景、基础运镜 | /api/v3/contents/generations/tasks |
| 2.0 旗舰 | doubao-seedance-2-0-260128 | 复杂镜头引擎 | 法术特效、打斗、大范围运镜、参考视频动作 | /api/v3/contents/generations/tasks |
| 1.5 pro | doubao-seedance-1-5-pro-251215 | 音画同步口型 | 苏白说台词镜头（generate_audio:true） | /api/v3/contents/generations/tasks |

```
三个模型共用 JIMENG_API_KEY，同一套密钥，同一套端点。
已验证: 1.5 pro 从提交到出片约 43 秒（480p/5s）。
TODO: video-api-adapter.js 已支持 2.0，需扩展 1.5/mini 模型ID。
```

## 声音引擎 · 独立产品线

| 模型 | 产品线 | 端点 | 认证 |
|------|--------|------|------|
| 声音复刻 2.0 (Seed-ICL 2.0) | 豆包语音 Seed Speech | openspeech.bytedance.com/api/v3/tts/unidirectional | X-Api-App-Id + X-Api-Access-Key |
| 通用 TTS (Seed-TTS 2.0) | 豆包语音 Seed Speech | 同上 | 同上 |

```
⚠️ 声音复刻 2.0 不是火山方舟 ModelArk 产品，是独立的豆包语音产品线。
JIMENG_API_KEY 不能用于声音复刻。
需要在火山引擎控制台 → 语音技术 → 创建应用 → 获取独立密钥。
```

---

## 路由

### Route V1 · 声音复刻 2.0（主）

用途: 把原文台词生成苏白专属音色对白音频。

```
端点: POST https://openspeech.bytedance.com/api/v3/tts/unidirectional
Header: X-Api-App-Id + X-Api-Access-Key
Resource: seed-icl-2.0
流程: 创建语音应用 → 获取密钥 → 上传苏白声音样本(10-30s) → 生成 Speaker ID(S_xxx)
        → 调用: { speaker: "S_xxx", text: "台词", additions: '{"context_texts":["大声自信"],"model_type":4}' }
回退: Seed-TTS 2.0 通用音色 → Edge-TTS（工程测试）
```

### Route S1 · Seedance 1.5 音画同步（主）

用途: 直接生成角色说台词镜头，音画自动同步。

```
模型: doubao-seedance-1-5-pro-251215
参数: generate_audio: true（原生支持音画同步）
输入: 文本台词 + 角色参考图 → 输出音画同步视频
不再需要: 单独TTS → 单独LipSync 两步走
实测: 已通过 curl 冒烟验证，出片约 43 秒
回退: Seedance 2.0 生成底片 + Edge-TTS配音叠加
```

### Route V2 · Seedance 2.0 复杂场景（主力非对白镜头）

```
用途: 法术特效、打斗、多人、参考视频动作等 mini 扛不住的镜头
模型: doubao-seedance-2-0-260128
回退: 无（mini 画质/控制力不够）
```

### Route M1 · Seedance mini 简单场景（主力出货）

```
用途: 单人特写、表情变化、静态场景、基础运镜、对话正反打
模型: doubao-seedance-2-0-mini-260615
优势: 速度快约 2×，成本约 2.0 的一半
局限: 720P 上限，无参考视频，无原生音频，复杂动作易崩
回退: 如果质量不达标 → 升级到 2.0 重做
```

### Route Edge · Edge-TTS（回退）

```
用途: 工程测试、小样预览
成本: 免费
局限: 通用音色，不是苏白专属
```

---

## EP01执行顺序（D144实测更新）

```
✅ 1. 开通豆包声音复刻 2.0 + Seedance 1.5（用户已完成购买）
✅ 2a. 获取全套密钥（新版X-Api-Key + 旧版APP ID/Access Token/Secret Key）→ D144 写入 .env
✅ 2b. 苏白4秒参考音频已提取（test-input/su-bai-s03-call.wav）→ D144
🔴 2c. 阻塞: 火山引擎要求控制台手动创建音色槽位 → 详见 issues/D144-voice-clone-blocked.hdlp
⬜ 2d. 拿到 Speaker ID (S_xxx) 后 → 调 voice_clone 训练 → 调 tts/unidirectional 合成
⬜ 3. video-api-adapter.js 扩展支持 doubao-seedance-1-5-pro-251215 + mini
⬜ 4. 用 Seedance 1.5 音画同步模式，直接生成苏白说台词镜头
⬜ 5. 验收标准不变: 原文逐字准确 + 嘴型同步 + 不换脸
```

---

## 验收标准

```
原文逐字准确。
情绪为苏白"大声·自信"。
不是旁白腔。不是读剧本腔。
嘴型与音频基本同步。
画面人物不换脸。
不因改口型导致画质糊、脸变形、牙齿异常。
```

---
铸渊 ICE-GL-ZY001 · D144 · 2026-06-24
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
⊢ 三模型实测通过 · 声音复刻需独立开通语音应用密钥