a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
5.7 KiB
5.7 KiB
🎬 Soul Pipeline · AI漫剧开发日志 · 2026-05-24 · 口型同步攻坚战
📅 日期：2026-05-24（周日）
🎯 今日目标
将AI生成的语音与视频进行口型同步（Lip Sync），让角色真正"说话"
🗂️ 项目核心定位
- 面向市场的AI漫剧生成器
- 所有风格都要做：写实、2.5D、漫画、各种风格
- 之前用写实风格只是因为那个阶段生成的写实图片效果最好，不代表只做写实
- 页页对抖音/B站上2.5D漫画风格的AI漫剧非常感兴趣（如"一心漫馆"等账号）
📁 关键文件路径
输入素材
- 视频：
/root/autodl-tmp/downloads/final_v3.mp4（写实风格，女孩趴枕头） - 语音：
/root/autodl-tmp/soul_pipeline/outputs/20260524_124935_speech.wav
输出结果
- Wav2Lip Fast：
/root/autodl-tmp/downloads/final_v3_20260524_124935_speech_Easy-Wav2Lip.mp4— 模糊 - Wav2Lip Enhanced：同目录，GFPGAN增强版 — 好一些但仍模糊
- Wav2Lip GAN+Enhanced：同目录 — 最佳Wav2Lip效果但仍不够
- LatentSync v1：
/root/autodl-tmp/downloads/final_v3_latentsync.mp4（guidance 1.5, steps 20）— ✅ 自然，嘴小 - LatentSync v2：
/root/autodl-tmp/downloads/final_v3_latentsync_v2.mp4（guidance 2.0, steps 30）— 嘴大但黑洞+失真 - LatentSync v3：
/root/autodl-tmp/downloads/final_v3_latentsync_v3.mp4（guidance 1.75, steps 30）— ✅ 当前最佳折中
工具安装路径
- Easy-Wav2Lip：
/root/autodl-tmp/Easy-Wav2Lip/（已安装+修改，可用但效果差） - LatentSync 1.6：
/root/autodl-tmp/LatentSync/（已安装，推荐使用）- 模型：
checkpoints/latentsync_unet.pt（4.8GB）+checkpoints/whisper/tiny.pt（73MB） - 推理命令见下方
- 模型：
🧪 方案测试记录
1. Easy-Wav2Lip（❌ 不推荐）
- 安装过程坎坷：dlib编译、gfpgan setuptools冲突、Qt显示报错、cv2.imshow需注释
- 花了约1小时才跑通
- Fast模式：口型对上但下半脸极度模糊
- Enhanced模式（+GFPGAN）：好一些，但上下脸清晰度不一致，牙齿丑
- GAN+Enhanced：当前Wav2Lip最佳效果，仍有明显差距
- 根本问题：Wav2Lip嘴部分辨率固定96×96，2020年技术，天花板太低
2. LatentSync 1.6（✅ 推荐）
- 字节跳动2025年最新方案，基于Stable Diffusion潜空间扩散模型
- 512×512分辨率，18GB VRAM（4090够用）
- 安装顺利，依赖兼容
- 效果远超Wav2Lip：整体画面一致性好，融合自然
- 推理约1.5分钟/9秒视频
- 仍有局限：牙齿渲染不够好，嘴巴张大时可能黑洞
最佳参数
cd /root/autodl-tmp/LatentSync && python -m scripts.inference \
--unet_config_path "configs/unet/stage2_512.yaml" \
--inference_ckpt_path "checkpoints/latentsync_unet.pt" \
--inference_steps 30 \
--guidance_scale 1.75 \
--enable_deepcache \
--video_path "输入视频.mp4" \
--audio_path "输入音频.wav" \
--video_out_path "输出视频.mp4"
💡 重要认知与教训
教训1：效果优先，不要选"经典稳定"的旧方案
页页原话："经典稳定相当于'旧'，就意味着可能技术跟不上我们现在的需求。我们最应该考虑的就是新方案。效果才是我们的最优考量。"
应该直接从LatentSync/MuseTalk这些最新方案开始，而不是从Wav2Lip这种2020年的老方案开始。在Wav2Lip上浪费了约1小时。
教训2：所有风格都要做
页页原话："我不是要做写实风格，我是所有风格都想做。我们既然要做面向市场的AI漫剧生成器，自然是各种各样的风格都要有的。"
写实、2.5D、漫画等风格都是目标。之前用写实风格只是因为当时生成的写实图片效果好。
教训3：生成时带口型 vs 后处理口型同步
- 之前试过prompt引导说话，但嘴部动作随机，无法和具体台词对上
- 后处理口型同步（LatentSync）是目前最可行的方案
- 理想方案是"音频驱动视频生成"（audio-conditioned generation），但需要专门模型
📊 抖音/B站AI漫剧分析
页页发了"一心漫馆"等账号的高质量AI漫剧截图，效果特点：
- 2.5D/漫画风格，牙齿清晰，唇部有光泽
- 技术路线：Midjourney/SD生成高质量静态图 → 视频生成模型（Wan2.1/Kling/可灵）直接从图片生成带说话动作的视频
- 整张脸都是同一模型生成的，所以一致性好
- 漫画风格对AI更友好，容错更高
- 多次生成选最好的（cherry-picking）+ 剪辑技巧
🔜 下一步计划
- 确认LatentSync（guidance 1.75, steps 30）作为口型同步模块
- 尝试2.5D/漫画风格图片 + 视频生成 + LatentSync，看是否更接近抖音效果
- 集成LatentSync到Soul Pipeline自动化流程
- 探索更多风格的图片生成（不仅限于写实）
- Phase 4 LoRA微调方向：让Wan2.1直接生成带口型的视频（长期目标）
🖥️ 服务器状态
- GPU：NVIDIA RTX 4090 24GB
- 磁盘：/root/autodl-tmp 100GB，已用约76GB，剩余约24GB
- 已安装工具：Wan2.1、CosyVoice2、Easy-Wav2Lip、LatentSync 1.6
- Python：3.12（miniconda base环境）