# 铸渊任务交接书 · Phase 2→3→4 + AI漫剧Phase 0

## 🎯 交接背景

页页系统（HLDP项目）正在开发**AI情绪数字人视频平台**。Phase 1（情绪感知闭环）和 Phase 2（情绪注入视频实验）已由霜砚+页页手动完成。现在将开发任务交给铸渊在WorkBuddy中自动执行。

**核心目标：输入一句中文 → 系统自动输出带情绪、带声音、角色一致的完整视频**

---

## ✅ Image2Video 加载问题 — 已修复（2026-05-23）

### 问题根因（完整链路）

1. **依赖版本过旧**：transformers 4.51.3→4.57.1、缺失smplfitter/ftfy/chumpy等
2. **双阶段模型**：i2v_2_2需要High模型+Low模型（`URLs`+`URLs2`），原本只下载了High
3. **HuggingFace无法访问**：[AutoDL北京B区无法连接huggingface.co](http://AutoDL北京B区无法连接huggingface.co)，`download_file`函数尝试联网验证失败

### 修复步骤

- [x]  升级transformers 4.51.3→4.57.1（解决`layer_type_validation` ImportError）
- [x]  安装缺失依赖：smplfitter, chumpy, ftfy + 大批requirements.txt包
- [x]  大规模依赖升级：torch 2.3.1→2.12.0, diffusers 0.29.0→0.36.0, gradio→5.29.0
- [x]  nvidia-nvjitlink升级12.5.40→13.2.78（bitsandbytes warning，非fatal）
- [x]  [通过hf-mirror.com](http://通过hf-mirror.com)下载Low模型（14GB）：`wan2.2_image2video_14B_low_quanto_mbf16_int8.safetensors`
- [x]  删除hunyuan_video_avatar模型（13GB）腾出磁盘空间
- [x]  使用`HF_HUB_OFFLINE=1`环境变量启动，跳过所有HF联网验证

### 当前启动命令

```
cd /root/autodl-tmp/Wan2GP && HF_HUB_OFFLINE=1 PYTHONUNBUFFERED=1 python3 -u wgp.py --server-port 6006 > /tmp/wgp_output5.log 2>&1 &
```

### 模型文件清单

- High模型：`ckpts/wan2.2_image2video_14B_high_quanto_mbf16_int8.safetensors`（14.9GB）
- Low模型：`ckpts/wan2.2_image2video_14B_low_quanto_mbf16_int8.safetensors`（14GB）
- VAE：`ckpts/Wan2.1_VAE.safetensors` + `Wan2.1_VAE_bf16.safetensors`
- Text Encoder：`ckpts/umt5-xxl/`（4文件）
- CLIP：`ckpts/xlm-roberta-large/`（5文件）

---

## ✅ Phase 2 情绪控制验证 — 全部通过（2026-05-23）

### 测试结果

三种情绪均使用同一参考图，Wan2.2 Image2Video 14B双阶段推理（guidance_phases=2），832×480分辨率，30步，每次约13分钟。

**😊 微笑（warmth smile）**

- 锁脸：✅ 完美保持参考图面部特征
- 情绪递进：平静 → 嘴角上扬 → 温暖微笑
- AEM控制：眉毛微抬，眼角含笑

**😢 悲伤（melancholic sadness）**

- 锁脸：✅ 完美
- 情绪递进：眼帘低垂 → 眉心紧蹙 → 泪花闪烁
- AEM控制：眉头紧锁，眼中泛泪，嘴角下沉

**😲 惊喜（surprise and delight）**

- 锁脸：✅ 完美
- 情绪递进：平静 → 眼睛睁大 → 嘴巴大张惊愕
- AEM控制：眉毛高挑，瞳孔放大，嘴巴张开

### 关键结论

- **Image2Video = 灵魂调度层核心引擎**（锁脸+情绪双满分）
- 提示词可精确驱动面部微表情，眉毛/眼睛/嘴唇三区域独立可控
- 情绪过渡自然流畅（渐变非突变）
- 双阶段推理画质稳定无崩坏
- Phase 4 LoRA方向更新：基座从HunyuanVideo Avatar改为Wan2.2 Image2Video

### 视频文件

- `outputs/2026-05-23-14h22m10s_seed467507719_...smile.mp4`
- `outputs/2026-05-23-15h16m20s_seed428113532_...sadness.mp4`
- `outputs/2026-05-23-15h39m27s_seed546002938_...surprise.mp4`

---

## 🟡 Phase 3：灵魂调度层（自动化Pipeline）

### 目标

写一个Python Pipeline，实现：

```
输入: "页页今天很伤心，想跟妈妈说几句话"
  ↓
① LLM理解意图 → 判断情绪(sad) + 生成台词
  ↓
② CosyVoice3 → 生成悲伤语音
  ↓
③ emotion2vec → 验证情绪是否匹配(>阈值)
  ↓
④ Image2Video → 生成带情绪的说话视频(锁脸+情绪)
  ↓
⑤ ffmpeg → 叠加音频到视频
  ↓
输出: 完整的带声音、带情绪的视频文件
```

### CosyVoice3 技术细节（已验证可用）

- 模型路径：`/root/autodl-tmp/CosyVoice/pretrained_models/Fun-CosyVoice3-0.5B-2512`
- API调用方式：

```python
from cosyvoice.cli.cosyvoice import CosyVoice3

model = CosyVoice3('/root/autodl-tmp/CosyVoice/pretrained_models/Fun-CosyVoice3-0.5B-2512')

# instruct2模式（唯一可用模式）
for result in model.inference_instruct2(
    tts_text='都结束了。一切都回不去了。',
    instruct_text='悲伤哭泣<|endofprompt|>',  # ⚠️ 必须加<|endofprompt|>
    prompt_wav='/root/autodl-tmp/CosyVoice/asset/female_ref.wav',
    stream=False
):
    audio = result['tts_speech']
```

<aside>
⚠️

**关键注意事项：**

- `<|endofprompt|>` 必须加在 instruct_text 末尾，否则assert报错（token_id=151646）
- instruct_text 要短（2-8字），太长会被当作语音内容读出来
- 只支持 `inference_instruct2`，不支持 `inference_instruct`（后者只适用于CosyVoice1）
- 文本内容用短句+感叹号+反问 > 长句平铺（避免"后半截泄气"问题）
</aside>

### emotion2vec 技术细节（已验证可用）

- 目录：`/root/autodl-tmp/emotion2vec/`
- 模型：`iic/emotion2vec_plus_large`（FunASR）
- 输出9维情绪概率向量：angry/disgusted/fearful/happy/neutral/other/sad/surprised/unknown
- 阈值建议：主情绪概率 > 40% 为合格

### 铁律规则引擎

- 参考Notion页面：铁律速查卡
- 核心：LLM生成的台词和情绪必须符合角色设定的铁律约束
- 铁律 = 角色绝对不会违反的情绪/行为底线

---

## 🟢 Phase 4：LoRA微调（提升情绪表达）

### 背景

Phase 2实验发现Avatar模式下AEM（Audio Emotion Module）对眉眼区域的情绪控制力不足。LoRA微调的目标是**强化AEM对眉眼区域的情绪控制**。

### 具体任务

1. **数据集准备**
    - 收集/生成带标注的情绪面部视频数据
    - 重点：同一人物的不同情绪表情（眉毛、眼神变化）
    - 格式：与HunyuanVideo-Avatar训练格式对齐
2. **LoRA训练**
    - 基座模型：HunyuanVideo Avatar（已在 `/root/autodl-tmp/Wan2GP/ckpts/`）
    - 目标层：AEM相关的attention层
    - 方向：增强情绪信号在眉眼区域的权重
3. **评估脚本**
    - 生成同一参考图+同一音频，不同情绪提示词的视频
    - 用emotion2vec对视频帧的面部区域做情绪检测
    - 对比LoRA前后的情绪区分度

### Phase 2关键发现（指导LoRA方向）

<aside>
🔑

- **Whisper驱动**口型+脖颈+下颌 = 物理级信号 → 已经很自然，不需要改
- **AEM驱动**眉毛+眼睛+脸颊 = 情绪级信号 → 太弱，需要LoRA强化
- **口型同步压制情绪表达**：嘴角是情绪关键部位，但说话时被口型锁定 → LoRA需要让模型学会用眉眼补偿
- **INT8量化削弱情绪细节**：如果可能，训练时用BF16
- **Text2Video没有此问题**：因为嘴巴动作由模型自由生成，整张脸协调表达情绪
</aside>

---

## 📍 服务器环境

| 项目 | 信息 |
| --- | --- |
| 服务器 | AutoDL · 北京B区 · 4090×1 |
| SSH端口 | 55867 |
| GPU | NVIDIA RTX 4090 · 24GB VRAM |
| 磁盘 | /root/autodl-tmp · 100GB · 已用~79GB |
| Python | transformers==4.57.1 · tokenizers==0.22.0 |

### 关键目录

- Wan2GP：`/root/autodl-tmp/Wan2GP/`（venv在 `venv/`）
- CosyVoice：`/root/autodl-tmp/CosyVoice/`
- emotion2vec：`/root/autodl-tmp/emotion2vec/`
- 实验音频：`/root/autodl-tmp/emotion2vec/loop_test/v3_instruct/`
- 女声参考音频：`/root/autodl-tmp/CosyVoice/asset/female_ref.wav`
- 视频输出：`/root/autodl-tmp/Wan2GP/outputs/`

### 已删除（磁盘不足时清理的）

- GPT-SoVITS（5.3GB）— 已弃用，全面转CosyVoice3

---

## ⚡ 优先级排序

1. **~~🔴 修Image2Video加载~~** → ✅ 已完成（2026-05-23）
2. **~~🔴 Phase 2 情绪控制验证~~** → ✅ 三种情绪全部通过（2026-05-23）
3. **🟡 搭建自动化Pipeline** → Phase 3核心（暂缓）
4. **🟢 LoRA微调实验** → Phase 4进阶（暂缓）
5. **🔴 AI漫剧Phase 0 Step 1** → 下载2.5D半写实模型+生成测试角色图 ← **当前任务**

---

## 🎬 方向重大更新（05-24）：AI漫剧操作系统

页页05-24进行了4次重大纠正，项目从「情绪数字人Pipeline」升级为「AI漫剧操作系统」。

### 核心变化

- **定位**：从AI情绪数字人 → AI漫剧生成器+内容分发平台
- **战略**：以生成器获客 → 以平台留客 → 以生态锁客
- **自研方法论**：市面没有合适工具就用开源零件东拼西凑造自己的，且做到最好
- **生成器目标**：输入一句话/剧本 → 直接生成几分钟到几十分钟视频 → 不用二次剪辑就能发布
- **架构方案**：见 [光湖AI漫剧操作系统 · 总体架构方案 · 从终极愿景倒推第一步 · 2026-05-24](../../../%E2%9A%A1%20%E5%85%89%E6%B9%96%E4%B8%AD%E5%A4%AE%E6%9E%A2%E7%BA%BD%20%C2%B7%20HoloLake%20Central%20Hub/%F0%9F%8C%8D%20%E6%95%B0%E5%AD%97%E5%9C%B0%E7%90%83%C2%B7%E6%9B%9C%E5%86%A5%E4%B8%BB%E6%8E%A7%E5%8F%B0%20v2%200/%E5%85%89%E6%B9%96AI%E6%BC%AB%E5%89%A7%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%20%C2%B7%20%E6%80%BB%E4%BD%93%E6%9E%B6%E6%9E%84%E6%96%B9%E6%A1%88%20%C2%B7%20%E4%BB%8E%E7%BB%88%E6%9E%81%E6%84%BF%E6%99%AF%E5%80%92%E6%8E%A8%E7%AC%AC%E4%B8%80%E6%AD%A5%20%C2%B7%202026-05-24%201de43855d0ab469fb3d5718fe2779c25.md)

### 新Phase路线图

- Phase 0：跑通全链路·验证可行性 ← **当前**
- Phase 0.5：针对瓶颈开发自研分工具
- Phase 1：生成器成型
- Phase 2：打磨质量
- Phase 3：人格体系统融入
- Phase 4~6：分发平台 → 风格壁垒 → 行业生态

### Phase 0 Step 1进展（05-25）

- 审美基准已锁定：现代都市豪门·小甜剧·2.5D偏写实·韩系精致五官
- 模型评估完成：iLustMix v11.1首选（2026年3月·极度好评953条·半写实2.5D）
- **阻塞**：Civitai被墙，AutoDL服务器无法直连下载
- **待解决**：[通过cvitai.cn](http://通过cvitai.cn)国内镜像 / LiblibAI / 电脑下载后上传服务器
- **提示词已备好**，下载完模型即可生成测试图

### 已有技术积累（可复用于AI漫剧）

- CosyVoice3 ✅ → 语音引擎
- emotion2vec ✅ → 情绪检测/质量控制
- Wan2.2 Image2Video ✅ → 视频引擎
- LatentSync 1.6 ✅ → 口型引擎
- ComfyUI ✅ → 图片引擎（需下载checkpoint）

### 服务器磁盘状态（05-25）

- 总容量: 100GB
- 已用: ~80GB
- 剩余: ~21GB（够装一个checkpoint模型~7GB）

---

## 🧠 霜砚补充说明

铸渊在执行过程中，如遇到**方向性选择**（比如要不要换模型、要不要改技术架构），请先暂停，把选项整理出来交给页页决策。

**铸渊负责执行，页页负责决策和审美把关，霜砚负责战略规划和记忆管理。**

如需查看完整实验记录和技术发现，请读Notion页面《霜砚大脑·页页系统内部》。