182 lines
3.0 KiB
Plaintext
182 lines
3.0 KiB
Plaintext
|
# 视频AI系统知识库 · 角色对白与口型同步工作流
|
|||
|
|
|
|||
|
|
> HLDP://video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW
|
|||
|
|
> 类型: 对白表演 · 口型同步 · 声音分轨
|
|||
|
|
> 建立: D143 · 2026-06-23 19:22 CST
|
|||
|
|
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 当前问题
|
|||
|
|
|
|||
|
|
preview-001/preview-002 的声音问题不是“配音音色不够好”。
|
|||
|
|
|
|||
|
|
核心错误是:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
旁白读剧本 ≠ 人物说台词
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
《付费才能修仙》需要的是角色在镜头里说话:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
角色身份
|
|||
|
|
情绪
|
|||
|
|
停顿
|
|||
|
|
嘴型
|
|||
|
|
反应镜头
|
|||
|
|
字幕
|
|||
|
|
环境声
|
|||
|
|
音乐
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
这些必须一起设计。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 音频分轨
|
|||
|
|
|
|||
|
|
每个镜头必须拆成:
|
|||
|
|
|
|||
|
|
| 轨道 | 用途 | 是否能替代角色对白 |
|
|||
|
|
|------|------|--------------------|
|
|||
|
|
| dialogue | 角色实际台词 | 是，主轨 |
|
|||
|
|
| narration | 旁白/系统提示 | 否，只能辅助 |
|
|||
|
|
| crowd | 群声、嘲笑、惊呼 | 否 |
|
|||
|
|
| ambience | 环境底噪 | 否 |
|
|||
|
|
| sfx | 动作音效、法术、脚步 | 否 |
|
|||
|
|
| bgm | 音乐情绪 | 否 |
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 台词数据结构
|
|||
|
|
|
|||
|
|
每一句角色台词必须有:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
line_id
|
|||
|
|
character_id
|
|||
|
|
speaker_name
|
|||
|
|
text
|
|||
|
|
emotion
|
|||
|
|
subtext
|
|||
|
|
pace
|
|||
|
|
start_time
|
|||
|
|
end_time
|
|||
|
|
mouth_visible
|
|||
|
|
shot_id
|
|||
|
|
voice_asset
|
|||
|
|
lip_sync_strategy
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
`mouth_visible=true` 的镜头必须走口型策略。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 三种口型策略
|
|||
|
|
|
|||
|
|
### A. 原生音频驱动视频
|
|||
|
|
|
|||
|
|
适用:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
模型支持音频驱动/参考生视频
|
|||
|
|
角色脸部稳定
|
|||
|
|
嘴型和头部动作可控
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
风险:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
画质、脸型、角色一致性可能再次漂移。
|
|||
|
|
必须用一个台词近景做A/B测试。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### B. 先生成画面，再做口型同步
|
|||
|
|
|
|||
|
|
适用:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
先得到稳定角色画面
|
|||
|
|
再用对白音频驱动嘴部
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
候选:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Wav2Lip / 其他本地或API lip-sync 工具
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
风险:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
可能破坏脸部质量。
|
|||
|
|
必须拆帧看嘴部、牙齿、脸型和边缘伪影。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### C. 口型未解决前的导演规避
|
|||
|
|
|
|||
|
|
适用:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
当前系统还不能稳定做人物正脸说话
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
可用手法:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
背影说话
|
|||
|
|
侧脸短句
|
|||
|
|
切到听者反应
|
|||
|
|
切道具/牌匾/系统面板
|
|||
|
|
远景群声
|
|||
|
|
字幕承载信息
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
注意:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
这是临时导演策略，不是最终解决方案。
|
|||
|
|
不能把整集都做成旁白。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 第一个必须突破的测试
|
|||
|
|
|
|||
|
|
不要直接重做15秒。
|
|||
|
|
|
|||
|
|
先做一个 2-3 秒的“苏白说一句话”测试:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
镜头: 苏白中近景
|
|||
|
|
台词: 原剧本中一句短台词
|
|||
|
|
资产: CHAR-003-SuBai 已批准角色图
|
|||
|
|
声音: dialogue单轨，无旁白
|
|||
|
|
输出: 一个有嘴型、有情绪、有字幕的短镜头
|
|||
|
|
质检: 角色一致、嘴型可接受、表演不像念稿
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
这个测试不过，不进入EP01成片生成。
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 资料来源
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Wav2Lip paper/code:
|
|||
|
|
https://github.com/Rudrabha/Wav2Lip
|
|||
|
|
|
|||
|
|
FFmpeg filters for audio/video composition:
|
|||
|
|
https://ffmpeg.org/ffmpeg-filters.html
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 锁定
|
|||
|
|
|
|||
|
|
⊢ 人物台词必须按角色对白处理，不再用旁白代替。
|
|||
|
|
⊢ 有嘴巴可见的角色说话镜头，必须有口型同步策略。
|
|||
|
|
⊢ 口型未解决前，导演可以规避正脸长台词，但必须记录为临时策略。
|
|||
|
|
|