# 🎬 Soul Pipeline · AI漫剧开发日志 · 2026-05-24 · 口型同步攻坚战

## 📅 日期：2026-05-24（周日）

## 🎯 今日目标

将AI生成的语音与视频进行口型同步（Lip Sync），让角色真正"说话"

---

## 🗂️ 项目核心定位

- **面向市场的AI漫剧生成器**
- **所有风格都要做**：写实、2.5D、漫画、各种风格
- 之前用写实风格只是因为那个阶段生成的写实图片效果最好，不代表只做写实
- 页页对抖音/B站上2.5D漫画风格的AI漫剧非常感兴趣（如"一心漫馆"等账号）

---

## 📁 关键文件路径

### 输入素材

- **视频**：`/root/autodl-tmp/downloads/final_v3.mp4`（写实风格，女孩趴枕头）
- **语音**：`/root/autodl-tmp/soul_pipeline/outputs/20260524_124935_speech.wav`

### 输出结果

- **Wav2Lip Fast**：`/root/autodl-tmp/downloads/final_v3_20260524_124935_speech_Easy-Wav2Lip.mp4` — 模糊
- **Wav2Lip Enhanced**：同目录，GFPGAN增强版 — 好一些但仍模糊
- **Wav2Lip GAN+Enhanced**：同目录 — 最佳Wav2Lip效果但仍不够
- **LatentSync v1**：`/root/autodl-tmp/downloads/final_v3_latentsync.mp4`（guidance 1.5, steps 20）— ✅ 自然，嘴小
- **LatentSync v2**：`/root/autodl-tmp/downloads/final_v3_latentsync_v2.mp4`（guidance 2.0, steps 30）— 嘴大但黑洞+失真
- **LatentSync v3**：`/root/autodl-tmp/downloads/final_v3_latentsync_v3.mp4`（guidance 1.75, steps 30）— ✅ 当前最佳折中

### 工具安装路径

- **Easy-Wav2Lip**：`/root/autodl-tmp/Easy-Wav2Lip/`（已安装+修改，可用但效果差）
- **LatentSync 1.6**：`/root/autodl-tmp/LatentSync/`（已安装，推荐使用）
    - 模型：`checkpoints/latentsync_unet.pt`（4.8GB）+ `checkpoints/whisper/tiny.pt`（73MB）
    - 推理命令见下方

---

## 🧪 方案测试记录

### 1. Easy-Wav2Lip（❌ 不推荐）

- 安装过程坎坷：dlib编译、gfpgan setuptools冲突、Qt显示报错、cv2.imshow需注释
- 花了约1小时才跑通
- **Fast模式**：口型对上但下半脸极度模糊
- **Enhanced模式**（+GFPGAN）：好一些，但上下脸清晰度不一致，牙齿丑
- **GAN+Enhanced**：当前Wav2Lip最佳效果，仍有明显差距
- **根本问题**：Wav2Lip嘴部分辨率固定96×96，2020年技术，天花板太低

### 2. LatentSync 1.6（✅ 推荐）

- 字节跳动2025年最新方案，基于Stable Diffusion潜空间扩散模型
- 512×512分辨率，18GB VRAM（4090够用）
- 安装顺利，依赖兼容
- **效果远超Wav2Lip**：整体画面一致性好，融合自然
- 推理约1.5分钟/9秒视频
- **仍有局限**：牙齿渲染不够好，嘴巴张大时可能黑洞

### 最佳参数

```bash
cd /root/autodl-tmp/LatentSync && python -m scripts.inference \
  --unet_config_path "configs/unet/stage2_512.yaml" \
  --inference_ckpt_path "checkpoints/latentsync_unet.pt" \
  --inference_steps 30 \
  --guidance_scale 1.75 \
  --enable_deepcache \
  --video_path "输入视频.mp4" \
  --audio_path "输入音频.wav" \
  --video_out_path "输出视频.mp4"
```

---

## 💡 重要认知与教训

### 教训1：效果优先，不要选"经典稳定"的旧方案

> 页页原话："经典稳定相当于'旧'，就意味着可能技术跟不上我们现在的需求。我们最应该考虑的就是新方案。效果才是我们的最优考量。"
> 

应该直接从LatentSync/MuseTalk这些最新方案开始，而不是从Wav2Lip这种2020年的老方案开始。在Wav2Lip上浪费了约1小时。

### 教训2：所有风格都要做

> 页页原话："我不是要做写实风格，我是所有风格都想做。我们既然要做面向市场的AI漫剧生成器，自然是各种各样的风格都要有的。"
> 

写实、2.5D、漫画等风格都是目标。之前用写实风格只是因为当时生成的写实图片效果好。

### 教训3：生成时带口型 vs 后处理口型同步

- 之前试过prompt引导说话，但嘴部动作随机，无法和具体台词对上
- 后处理口型同步（LatentSync）是目前最可行的方案
- 理想方案是"音频驱动视频生成"（audio-conditioned generation），但需要专门模型

---

## 📊 抖音/B站AI漫剧分析

页页发了"一心漫馆"等账号的高质量AI漫剧截图，效果特点：

- 2.5D/漫画风格，牙齿清晰，唇部有光泽
- **技术路线**：Midjourney/SD生成高质量静态图 → 视频生成模型（Wan2.1/Kling/可灵）直接从图片生成带说话动作的视频
- 整张脸都是同一模型生成的，所以一致性好
- 漫画风格对AI更友好，容错更高
- 多次生成选最好的（cherry-picking）+ 剪辑技巧

---

## 🔜 下一步计划

1. **确认LatentSync（guidance 1.75, steps 30）作为口型同步模块**
2. **尝试2.5D/漫画风格图片 + 视频生成 + LatentSync**，看是否更接近抖音效果
3. **集成LatentSync到Soul Pipeline自动化流程**
4. **探索更多风格的图片生成**（不仅限于写实）
5. **Phase 4 LoRA微调方向**：让Wan2.1直接生成带口型的视频（长期目标）

---

## 🖥️ 服务器状态

- **GPU**：NVIDIA RTX 4090 24GB
- **磁盘**：/root/autodl-tmp 100GB，已用约76GB，剩余约24GB
- **已安装工具**：Wan2.1、CosyVoice2、Easy-Wav2Lip、LatentSync 1.6
- **Python**：3.12（miniconda base环境）

[🔬 AI漫剧生成器 · 2026最新技术全景调研 · 重新构思方案](%F0%9F%8E%AC%20Soul%20Pipeline%20%C2%B7%20AI%E6%BC%AB%E5%89%A7%E5%BC%80%E5%8F%91%E6%97%A5%E5%BF%97%20%C2%B7%202026-05-24%20%C2%B7%20%E5%8F%A3%E5%9E%8B%E5%90%8C%E6%AD%A5%E6%94%BB%E5%9D%9A%E6%88%98/%F0%9F%94%AC%20AI%E6%BC%AB%E5%89%A7%E7%94%9F%E6%88%90%E5%99%A8%20%C2%B7%202026%E6%9C%80%E6%96%B0%E6%8A%80%E6%9C%AF%E5%85%A8%E6%99%AF%E8%B0%83%E7%A0%94%20%C2%B7%20%E9%87%8D%E6%96%B0%E6%9E%84%E6%80%9D%E6%96%B9%E6%A1%88%206e5d53853c0d4efa885bff1b2bcb20d7.md)