# 视频AI系统知识库 · 角色对白与口型同步工作流

> HLDP://video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW
> 类型: 对白表演 · 口型同步 · 声音分轨
> 建立: D143 · 2026-06-23 19:22 CST
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞

---

## 当前问题

preview-001/preview-002 的声音问题不是“配音音色不够好”。

核心错误是:

```
旁白读剧本 ≠ 人物说台词
```

《付费才能修仙》需要的是角色在镜头里说话:

```
角色身份
情绪
停顿
嘴型
反应镜头
字幕
环境声
音乐
```

这些必须一起设计。

---

## 音频分轨

每个镜头必须拆成:

| 轨道 | 用途 | 是否能替代角色对白 |
|------|------|--------------------|
| dialogue | 角色实际台词 | 是，主轨 |
| narration | 旁白/系统提示 | 否，只能辅助 |
| crowd | 群声、嘲笑、惊呼 | 否 |
| ambience | 环境底噪 | 否 |
| sfx | 动作音效、法术、脚步 | 否 |
| bgm | 音乐情绪 | 否 |

---

## 台词数据结构

每一句角色台词必须有:

```
line_id
character_id
speaker_name
text
emotion
subtext
pace
start_time
end_time
mouth_visible
shot_id
voice_asset
lip_sync_strategy
```

`mouth_visible=true` 的镜头必须走口型策略。

---

## 三种口型策略

### A. 原生音频驱动视频

适用:

```
模型支持音频驱动/参考生视频
角色脸部稳定
嘴型和头部动作可控
```

风险:

```
画质、脸型、角色一致性可能再次漂移。
必须用一个台词近景做A/B测试。
```

### B. 先生成画面，再做口型同步

适用:

```
先得到稳定角色画面
再用对白音频驱动嘴部
```

候选:

```
Wav2Lip / 其他本地或API lip-sync 工具
```

风险:

```
可能破坏脸部质量。
必须拆帧看嘴部、牙齿、脸型和边缘伪影。
```

### C. 口型未解决前的导演规避

适用:

```
当前系统还不能稳定做人物正脸说话
```

可用手法:

```
背影说话
侧脸短句
切到听者反应
切道具/牌匾/系统面板
远景群声
字幕承载信息
```

注意:

```
这是临时导演策略，不是最终解决方案。
不能把整集都做成旁白。
```

---

## 第一个必须突破的测试

不要直接重做15秒。

先做一个 2-3 秒的“苏白说一句话”测试:

```
镜头: 苏白中近景
台词: 原剧本中一句短台词
资产: CHAR-003-SuBai 已批准角色图
声音: dialogue单轨，无旁白
输出: 一个有嘴型、有情绪、有字幕的短镜头
质检: 角色一致、嘴型可接受、表演不像念稿
```

这个测试不过，不进入EP01成片生成。

---

## 资料来源

```
Wav2Lip paper/code:
https://github.com/Rudrabha/Wav2Lip

FFmpeg filters for audio/video composition:
https://ffmpeg.org/ffmpeg-filters.html
```

---

## 锁定

⊢ 人物台词必须按角色对白处理，不再用旁白代替。
⊢ 有嘴巴可见的角色说话镜头，必须有口型同步策略。
⊢ 口型未解决前，导演可以规避正脸长台词，但必须记录为临时策略。