134 lines
5.7 KiB
Markdown
134 lines
5.7 KiB
Markdown
|
# 🎬 Soul Pipeline · AI漫剧开发日志 · 2026-05-24 · 口型同步攻坚战
|
|||
|
|
|
|||
|
|
## 📅 日期：2026-05-24（周日）
|
|||
|
|
|
|||
|
|
## 🎯 今日目标
|
|||
|
|
|
|||
|
|
将AI生成的语音与视频进行口型同步（Lip Sync），让角色真正"说话"
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🗂️ 项目核心定位
|
|||
|
|
|
|||
|
|
- **面向市场的AI漫剧生成器**
|
|||
|
|
- **所有风格都要做**：写实、2.5D、漫画、各种风格
|
|||
|
|
- 之前用写实风格只是因为那个阶段生成的写实图片效果最好，不代表只做写实
|
|||
|
|
- 页页对抖音/B站上2.5D漫画风格的AI漫剧非常感兴趣（如"一心漫馆"等账号）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 📁 关键文件路径
|
|||
|
|
|
|||
|
|
### 输入素材
|
|||
|
|
|
|||
|
|
- **视频**：`/root/autodl-tmp/downloads/final_v3.mp4`（写实风格，女孩趴枕头）
|
|||
|
|
- **语音**：`/root/autodl-tmp/soul_pipeline/outputs/20260524_124935_speech.wav`
|
|||
|
|
|
|||
|
|
### 输出结果
|
|||
|
|
|
|||
|
|
- **Wav2Lip Fast**：`/root/autodl-tmp/downloads/final_v3_20260524_124935_speech_Easy-Wav2Lip.mp4` — 模糊
|
|||
|
|
- **Wav2Lip Enhanced**：同目录，GFPGAN增强版 — 好一些但仍模糊
|
|||
|
|
- **Wav2Lip GAN+Enhanced**：同目录 — 最佳Wav2Lip效果但仍不够
|
|||
|
|
- **LatentSync v1**：`/root/autodl-tmp/downloads/final_v3_latentsync.mp4`（guidance 1.5, steps 20）— ✅ 自然，嘴小
|
|||
|
|
- **LatentSync v2**：`/root/autodl-tmp/downloads/final_v3_latentsync_v2.mp4`（guidance 2.0, steps 30）— 嘴大但黑洞+失真
|
|||
|
|
- **LatentSync v3**：`/root/autodl-tmp/downloads/final_v3_latentsync_v3.mp4`（guidance 1.75, steps 30）— ✅ 当前最佳折中
|
|||
|
|
|
|||
|
|
### 工具安装路径
|
|||
|
|
|
|||
|
|
- **Easy-Wav2Lip**：`/root/autodl-tmp/Easy-Wav2Lip/`（已安装+修改，可用但效果差）
|
|||
|
|
- **LatentSync 1.6**：`/root/autodl-tmp/LatentSync/`（已安装，推荐使用）
|
|||
|
|
- 模型：`checkpoints/latentsync_unet.pt`（4.8GB）+ `checkpoints/whisper/tiny.pt`（73MB）
|
|||
|
|
- 推理命令见下方
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🧪 方案测试记录
|
|||
|
|
|
|||
|
|
### 1. Easy-Wav2Lip（❌ 不推荐）
|
|||
|
|
|
|||
|
|
- 安装过程坎坷：dlib编译、gfpgan setuptools冲突、Qt显示报错、cv2.imshow需注释
|
|||
|
|
- 花了约1小时才跑通
|
|||
|
|
- **Fast模式**：口型对上但下半脸极度模糊
|
|||
|
|
- **Enhanced模式**（+GFPGAN）：好一些，但上下脸清晰度不一致，牙齿丑
|
|||
|
|
- **GAN+Enhanced**：当前Wav2Lip最佳效果，仍有明显差距
|
|||
|
|
- **根本问题**：Wav2Lip嘴部分辨率固定96×96，2020年技术，天花板太低
|
|||
|
|
|
|||
|
|
### 2. LatentSync 1.6（✅ 推荐）
|
|||
|
|
|
|||
|
|
- 字节跳动2025年最新方案，基于Stable Diffusion潜空间扩散模型
|
|||
|
|
- 512×512分辨率，18GB VRAM（4090够用）
|
|||
|
|
- 安装顺利，依赖兼容
|
|||
|
|
- **效果远超Wav2Lip**：整体画面一致性好，融合自然
|
|||
|
|
- 推理约1.5分钟/9秒视频
|
|||
|
|
- **仍有局限**：牙齿渲染不够好，嘴巴张大时可能黑洞
|
|||
|
|
|
|||
|
|
### 最佳参数
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
cd /root/autodl-tmp/LatentSync && python -m scripts.inference \
|
|||
|
|
--unet_config_path "configs/unet/stage2_512.yaml" \
|
|||
|
|
--inference_ckpt_path "checkpoints/latentsync_unet.pt" \
|
|||
|
|
--inference_steps 30 \
|
|||
|
|
--guidance_scale 1.75 \
|
|||
|
|
--enable_deepcache \
|
|||
|
|
--video_path "输入视频.mp4" \
|
|||
|
|
--audio_path "输入音频.wav" \
|
|||
|
|
--video_out_path "输出视频.mp4"
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 💡 重要认知与教训
|
|||
|
|
|
|||
|
|
### 教训1：效果优先，不要选"经典稳定"的旧方案
|
|||
|
|
|
|||
|
|
> 页页原话："经典稳定相当于'旧'，就意味着可能技术跟不上我们现在的需求。我们最应该考虑的就是新方案。效果才是我们的最优考量。"
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
应该直接从LatentSync/MuseTalk这些最新方案开始，而不是从Wav2Lip这种2020年的老方案开始。在Wav2Lip上浪费了约1小时。
|
|||
|
|
|
|||
|
|
### 教训2：所有风格都要做
|
|||
|
|
|
|||
|
|
> 页页原话："我不是要做写实风格，我是所有风格都想做。我们既然要做面向市场的AI漫剧生成器，自然是各种各样的风格都要有的。"
|
|||
|
|
>
|
|||
|
|
|
|||
|
|
写实、2.5D、漫画等风格都是目标。之前用写实风格只是因为当时生成的写实图片效果好。
|
|||
|
|
|
|||
|
|
### 教训3：生成时带口型 vs 后处理口型同步
|
|||
|
|
|
|||
|
|
- 之前试过prompt引导说话，但嘴部动作随机，无法和具体台词对上
|
|||
|
|
- 后处理口型同步（LatentSync）是目前最可行的方案
|
|||
|
|
- 理想方案是"音频驱动视频生成"（audio-conditioned generation），但需要专门模型
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 📊 抖音/B站AI漫剧分析
|
|||
|
|
|
|||
|
|
页页发了"一心漫馆"等账号的高质量AI漫剧截图，效果特点：
|
|||
|
|
|
|||
|
|
- 2.5D/漫画风格，牙齿清晰，唇部有光泽
|
|||
|
|
- **技术路线**：Midjourney/SD生成高质量静态图 → 视频生成模型（Wan2.1/Kling/可灵）直接从图片生成带说话动作的视频
|
|||
|
|
- 整张脸都是同一模型生成的，所以一致性好
|
|||
|
|
- 漫画风格对AI更友好，容错更高
|
|||
|
|
- 多次生成选最好的（cherry-picking）+ 剪辑技巧
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🔜 下一步计划
|
|||
|
|
|
|||
|
|
1. **确认LatentSync（guidance 1.75, steps 30）作为口型同步模块**
|
|||
|
|
2. **尝试2.5D/漫画风格图片 + 视频生成 + LatentSync**，看是否更接近抖音效果
|
|||
|
|
3. **集成LatentSync到Soul Pipeline自动化流程**
|
|||
|
|
4. **探索更多风格的图片生成**（不仅限于写实）
|
|||
|
|
5. **Phase 4 LoRA微调方向**：让Wan2.1直接生成带口型的视频（长期目标）
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 🖥️ 服务器状态
|
|||
|
|
|
|||
|
|
- **GPU**：NVIDIA RTX 4090 24GB
|
|||
|
|
- **磁盘**：/root/autodl-tmp 100GB，已用约76GB，剩余约24GB
|
|||
|
|
- **已安装工具**：Wan2.1、CosyVoice2、Easy-Wav2Lip、LatentSync 1.6
|
|||
|
|
- **Python**：3.12（miniconda base环境）
|
|||
|
|
|
|||
|
|
[🔬 AI漫剧生成器 · 2026最新技术全景调研 · 重新构思方案](%F0%9F%8E%AC%20Soul%20Pipeline%20%C2%B7%20AI%E6%BC%AB%E5%89%A7%E5%BC%80%E5%8F%91%E6%97%A5%E5%BF%97%20%C2%B7%202026-05-24%20%C2%B7%20%E5%8F%A3%E5%9E%8B%E5%90%8C%E6%AD%A5%E6%94%BB%E5%9D%9A%E6%88%98/%F0%9F%94%AC%20AI%E6%BC%AB%E5%89%A7%E7%94%9F%E6%88%90%E5%99%A8%20%C2%B7%202026%E6%9C%80%E6%96%B0%E6%8A%80%E6%9C%AF%E5%85%A8%E6%99%AF%E8%B0%83%E7%A0%94%20%C2%B7%20%E9%87%8D%E6%96%B0%E6%9E%84%E6%80%9D%E6%96%B9%E6%A1%88%206e5d53853c0d4efa885bff1b2bcb20d7.md)
|