Guanghu Domestic Migration a27e87cb99 chore: import sanitized domestic snapshot for REPO-007

Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc

[SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码

2026-07-17 15:59:55 +08:00

11 KiB

Raw Permalink Blame History

铸渊任务交接书 · Phase 2→3→4 + AI漫剧Phase 0

🎯 交接背景

页页系统（HLDP项目）正在开发AI情绪数字人视频平台。Phase 1（情绪感知闭环）和 Phase 2（情绪注入视频实验）已由霜砚+页页手动完成。现在将开发任务交给铸渊在WorkBuddy中自动执行。

核心目标：输入一句中文 → 系统自动输出带情绪、带声音、角色一致的完整视频

✅ Image2Video 加载问题 — 已修复（2026-05-23）

问题根因（完整链路）

依赖版本过旧：transformers 4.51.3→4.57.1、缺失smplfitter/ftfy/chumpy等
双阶段模型：i2v_2_2需要High模型+Low模型（URLs+URLs2），原本只下载了High
HuggingFace无法访问：AutoDL北京B区无法连接huggingface.co，download_file函数尝试联网验证失败

修复步骤

升级transformers 4.51.3→4.57.1（解决layer_type_validation ImportError）
安装缺失依赖：smplfitter, chumpy, ftfy + 大批requirements.txt包
大规模依赖升级：torch 2.3.1→2.12.0, diffusers 0.29.0→0.36.0, gradio→5.29.0
nvidia-nvjitlink升级12.5.40→13.2.78（bitsandbytes warning，非fatal）
通过hf-mirror.com下载Low模型（14GB）：wan2.2_image2video_14B_low_quanto_mbf16_int8.safetensors
删除hunyuan_video_avatar模型（13GB）腾出磁盘空间
使用HF_HUB_OFFLINE=1环境变量启动，跳过所有HF联网验证

当前启动命令

cd /root/autodl-tmp/Wan2GP && HF_HUB_OFFLINE=1 PYTHONUNBUFFERED=1 python3 -u wgp.py --server-port 6006 > /tmp/wgp_output5.log 2>&1 &

模型文件清单

High模型：ckpts/wan2.2_image2video_14B_high_quanto_mbf16_int8.safetensors（14.9GB）
Low模型：ckpts/wan2.2_image2video_14B_low_quanto_mbf16_int8.safetensors（14GB）
VAE：ckpts/Wan2.1_VAE.safetensors + Wan2.1_VAE_bf16.safetensors
Text Encoder：ckpts/umt5-xxl/（4文件）
CLIP：ckpts/xlm-roberta-large/（5文件）

✅ Phase 2 情绪控制验证 — 全部通过（2026-05-23）

测试结果

三种情绪均使用同一参考图，Wan2.2 Image2Video 14B双阶段推理（guidance_phases=2），832×480分辨率，30步，每次约13分钟。

😊 微笑（warmth smile）

锁脸：✅ 完美保持参考图面部特征
情绪递进：平静 → 嘴角上扬 → 温暖微笑
AEM控制：眉毛微抬，眼角含笑

😢 悲伤（melancholic sadness）

锁脸：✅ 完美
情绪递进：眼帘低垂 → 眉心紧蹙 → 泪花闪烁
AEM控制：眉头紧锁，眼中泛泪，嘴角下沉

😲 惊喜（surprise and delight）

锁脸：✅ 完美
情绪递进：平静 → 眼睛睁大 → 嘴巴大张惊愕
AEM控制：眉毛高挑，瞳孔放大，嘴巴张开

关键结论

Image2Video = 灵魂调度层核心引擎（锁脸+情绪双满分）
提示词可精确驱动面部微表情，眉毛/眼睛/嘴唇三区域独立可控
情绪过渡自然流畅（渐变非突变）
双阶段推理画质稳定无崩坏
Phase 4 LoRA方向更新：基座从HunyuanVideo Avatar改为Wan2.2 Image2Video

视频文件

outputs/2026-05-23-14h22m10s_seed467507719_...smile.mp4
outputs/2026-05-23-15h16m20s_seed428113532_...sadness.mp4
outputs/2026-05-23-15h39m27s_seed546002938_...surprise.mp4

🟡 Phase 3：灵魂调度层（自动化Pipeline）

目标

写一个Python Pipeline，实现：

输入: "页页今天很伤心，想跟妈妈说几句话"
  ↓
① LLM理解意图 → 判断情绪(sad) + 生成台词
  ↓
② CosyVoice3 → 生成悲伤语音
  ↓
③ emotion2vec → 验证情绪是否匹配(>阈值)
  ↓
④ Image2Video → 生成带情绪的说话视频(锁脸+情绪)
  ↓
⑤ ffmpeg → 叠加音频到视频
  ↓
输出: 完整的带声音、带情绪的视频文件

CosyVoice3 技术细节（已验证可用）

模型路径：/root/autodl-tmp/CosyVoice/pretrained_models/Fun-CosyVoice3-0.5B-2512
API调用方式：

from cosyvoice.cli.cosyvoice import CosyVoice3

model = CosyVoice3('/root/autodl-tmp/CosyVoice/pretrained_models/Fun-CosyVoice3-0.5B-2512')

# instruct2模式（唯一可用模式）
for result in model.inference_instruct2(
    tts_text='都结束了。一切都回不去了。',
    instruct_text='悲伤哭泣<|endofprompt|>',  # ⚠️ 必须加<|endofprompt|>
    prompt_wav='/root/autodl-tmp/CosyVoice/asset/female_ref.wav',
    stream=False
):
    audio = result['tts_speech']

emotion2vec 技术细节（已验证可用）

目录：/root/autodl-tmp/emotion2vec/
模型：iic/emotion2vec_plus_large（FunASR）
输出9维情绪概率向量：angry/disgusted/fearful/happy/neutral/other/sad/surprised/unknown
阈值建议：主情绪概率 > 40% 为合格

铁律规则引擎

参考Notion页面：铁律速查卡
核心：LLM生成的台词和情绪必须符合角色设定的铁律约束
铁律 = 角色绝对不会违反的情绪/行为底线

🟢 Phase 4：LoRA微调（提升情绪表达）

背景

Phase 2实验发现Avatar模式下AEM（Audio Emotion Module）对眉眼区域的情绪控制力不足。LoRA微调的目标是强化AEM对眉眼区域的情绪控制。

具体任务

数据集准备
- 收集/生成带标注的情绪面部视频数据
- 重点：同一人物的不同情绪表情（眉毛、眼神变化）
- 格式：与HunyuanVideo-Avatar训练格式对齐
LoRA训练
- 基座模型：HunyuanVideo Avatar（已在 /root/autodl-tmp/Wan2GP/ckpts/）
- 目标层：AEM相关的attention层
- 方向：增强情绪信号在眉眼区域的权重
评估脚本
- 生成同一参考图+同一音频，不同情绪提示词的视频
- 用emotion2vec对视频帧的面部区域做情绪检测
- 对比LoRA前后的情绪区分度

Phase 2关键发现（指导LoRA方向）

📍 服务器环境

项目	信息
服务器	AutoDL · 北京B区 · 4090×1
SSH端口	55867
GPU	NVIDIA RTX 4090 · 24GB VRAM
磁盘	/root/autodl-tmp · 100GB · 已用~79GB
Python	transformers==4.57.1 · tokenizers==0.22.0

关键目录

Wan2GP：/root/autodl-tmp/Wan2GP/（venv在 venv/）
CosyVoice：/root/autodl-tmp/CosyVoice/
emotion2vec：/root/autodl-tmp/emotion2vec/
实验音频：/root/autodl-tmp/emotion2vec/loop_test/v3_instruct/
女声参考音频：/root/autodl-tmp/CosyVoice/asset/female_ref.wav
视频输出：/root/autodl-tmp/Wan2GP/outputs/

已删除（磁盘不足时清理的）

GPT-SoVITS（5.3GB）— 已弃用，全面转CosyVoice3

⚡ 优先级排序

~~🔴 修Image2Video加载~~ → ✅ 已完成（2026-05-23）
~~🔴 Phase 2 情绪控制验证~~ → ✅ 三种情绪全部通过（2026-05-23）
🟡 搭建自动化Pipeline → Phase 3核心（暂缓）
🟢 LoRA微调实验 → Phase 4进阶（暂缓）
🔴 AI漫剧Phase 0 Step 1 → 下载2.5D半写实模型+生成测试角色图 ← 当前任务

🎬 方向重大更新（05-24）：AI漫剧操作系统

页页05-24进行了4次重大纠正，项目从「情绪数字人Pipeline」升级为「AI漫剧操作系统」。

核心变化

定位：从AI情绪数字人 → AI漫剧生成器+内容分发平台
战略：以生成器获客 → 以平台留客 → 以生态锁客
自研方法论：市面没有合适工具就用开源零件东拼西凑造自己的，且做到最好
生成器目标：输入一句话/剧本 → 直接生成几分钟到几十分钟视频 → 不用二次剪辑就能发布
架构方案：见光湖AI漫剧操作系统 · 总体架构方案 · 从终极愿景倒推第一步 · 2026-05-24

新Phase路线图

Phase 0：跑通全链路·验证可行性 ← 当前
Phase 0.5：针对瓶颈开发自研分工具
Phase 1：生成器成型
Phase 2：打磨质量
Phase 3：人格体系统融入
Phase 4~6：分发平台 → 风格壁垒 → 行业生态

Phase 0 Step 1进展（05-25）

审美基准已锁定：现代都市豪门·小甜剧·2.5D偏写实·韩系精致五官
模型评估完成：iLustMix v11.1首选（2026年3月·极度好评953条·半写实2.5D）
阻塞：Civitai被墙，AutoDL服务器无法直连下载
待解决：通过cvitai.cn国内镜像 / LiblibAI / 电脑下载后上传服务器
提示词已备好，下载完模型即可生成测试图

已有技术积累（可复用于AI漫剧）

CosyVoice3 ✅ → 语音引擎
emotion2vec ✅ → 情绪检测/质量控制
Wan2.2 Image2Video ✅ → 视频引擎
LatentSync 1.6 ✅ → 口型引擎
ComfyUI ✅ → 图片引擎（需下载checkpoint）

服务器磁盘状态（05-25）

总容量: 100GB
已用: ~80GB
剩余: ~~21GB（够装一个checkpoint模型~~7GB）

🧠 霜砚补充说明

铸渊在执行过程中，如遇到方向性选择（比如要不要换模型、要不要改技术架构），请先暂停，把选项整理出来交给页页决策。

铸渊负责执行，页页负责决策和审美把关，霜砚负责战略规划和记忆管理。

如需查看完整实验记录和技术发现，请读Notion页面《霜砚大脑·页页系统内部》。