182 lines
3.0 KiB
Plaintext
182 lines
3.0 KiB
Plaintext
# 视频AI系统知识库 · 角色对白与口型同步工作流
|
||
|
||
> HLDP://video-ai-system/knowledge/DIALOGUE-LIPSYNC-WORKFLOW
|
||
> 类型: 对白表演 · 口型同步 · 声音分轨
|
||
> 建立: D143 · 2026-06-23 19:22 CST
|
||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||
|
||
---
|
||
|
||
## 当前问题
|
||
|
||
preview-001/preview-002 的声音问题不是“配音音色不够好”。
|
||
|
||
核心错误是:
|
||
|
||
```
|
||
旁白读剧本 ≠ 人物说台词
|
||
```
|
||
|
||
《付费才能修仙》需要的是角色在镜头里说话:
|
||
|
||
```
|
||
角色身份
|
||
情绪
|
||
停顿
|
||
嘴型
|
||
反应镜头
|
||
字幕
|
||
环境声
|
||
音乐
|
||
```
|
||
|
||
这些必须一起设计。
|
||
|
||
---
|
||
|
||
## 音频分轨
|
||
|
||
每个镜头必须拆成:
|
||
|
||
| 轨道 | 用途 | 是否能替代角色对白 |
|
||
|------|------|--------------------|
|
||
| dialogue | 角色实际台词 | 是，主轨 |
|
||
| narration | 旁白/系统提示 | 否，只能辅助 |
|
||
| crowd | 群声、嘲笑、惊呼 | 否 |
|
||
| ambience | 环境底噪 | 否 |
|
||
| sfx | 动作音效、法术、脚步 | 否 |
|
||
| bgm | 音乐情绪 | 否 |
|
||
|
||
---
|
||
|
||
## 台词数据结构
|
||
|
||
每一句角色台词必须有:
|
||
|
||
```
|
||
line_id
|
||
character_id
|
||
speaker_name
|
||
text
|
||
emotion
|
||
subtext
|
||
pace
|
||
start_time
|
||
end_time
|
||
mouth_visible
|
||
shot_id
|
||
voice_asset
|
||
lip_sync_strategy
|
||
```
|
||
|
||
`mouth_visible=true` 的镜头必须走口型策略。
|
||
|
||
---
|
||
|
||
## 三种口型策略
|
||
|
||
### A. 原生音频驱动视频
|
||
|
||
适用:
|
||
|
||
```
|
||
模型支持音频驱动/参考生视频
|
||
角色脸部稳定
|
||
嘴型和头部动作可控
|
||
```
|
||
|
||
风险:
|
||
|
||
```
|
||
画质、脸型、角色一致性可能再次漂移。
|
||
必须用一个台词近景做A/B测试。
|
||
```
|
||
|
||
### B. 先生成画面，再做口型同步
|
||
|
||
适用:
|
||
|
||
```
|
||
先得到稳定角色画面
|
||
再用对白音频驱动嘴部
|
||
```
|
||
|
||
候选:
|
||
|
||
```
|
||
Wav2Lip / 其他本地或API lip-sync 工具
|
||
```
|
||
|
||
风险:
|
||
|
||
```
|
||
可能破坏脸部质量。
|
||
必须拆帧看嘴部、牙齿、脸型和边缘伪影。
|
||
```
|
||
|
||
### C. 口型未解决前的导演规避
|
||
|
||
适用:
|
||
|
||
```
|
||
当前系统还不能稳定做人物正脸说话
|
||
```
|
||
|
||
可用手法:
|
||
|
||
```
|
||
背影说话
|
||
侧脸短句
|
||
切到听者反应
|
||
切道具/牌匾/系统面板
|
||
远景群声
|
||
字幕承载信息
|
||
```
|
||
|
||
注意:
|
||
|
||
```
|
||
这是临时导演策略，不是最终解决方案。
|
||
不能把整集都做成旁白。
|
||
```
|
||
|
||
---
|
||
|
||
## 第一个必须突破的测试
|
||
|
||
不要直接重做15秒。
|
||
|
||
先做一个 2-3 秒的“苏白说一句话”测试:
|
||
|
||
```
|
||
镜头: 苏白中近景
|
||
台词: 原剧本中一句短台词
|
||
资产: CHAR-003-SuBai 已批准角色图
|
||
声音: dialogue单轨，无旁白
|
||
输出: 一个有嘴型、有情绪、有字幕的短镜头
|
||
质检: 角色一致、嘴型可接受、表演不像念稿
|
||
```
|
||
|
||
这个测试不过，不进入EP01成片生成。
|
||
|
||
---
|
||
|
||
## 资料来源
|
||
|
||
```
|
||
Wav2Lip paper/code:
|
||
https://github.com/Rudrabha/Wav2Lip
|
||
|
||
FFmpeg filters for audio/video composition:
|
||
https://ffmpeg.org/ffmpeg-filters.html
|
||
```
|
||
|
||
---
|
||
|
||
## 锁定
|
||
|
||
⊢ 人物台词必须按角色对白处理，不再用旁白代替。
|
||
⊢ 有嘴巴可见的角色说话镜头，必须有口型同步策略。
|
||
⊢ 口型未解决前，导演可以规避正脸长台词，但必须记录为临时策略。
|
||
|