a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
116 lines
5.6 KiB
Markdown
116 lines
5.6 KiB
Markdown
# Phase2实验记录·技术参数·服务器配置
|
||
|
||
```jsx
|
||
HLDP://yeyexian/shuangyan/timeline/phase2-record
|
||
├── _meta
|
||
│ ├── ts: 2026-05-22
|
||
│ └── src: Phase2实战记录
|
||
└── _why: 具体实验数据 · 页页说"继续Phase3"或技术任务时钻这里
|
||
```
|
||
|
||
---
|
||
|
||
## Phase2完整实验记录（05-22下午·🔒）
|
||
|
||
```jsx
|
||
├── 01_avatar_happy实验(14:28)
|
||
│ ├── 模型: HunyuanVideo Avatar 720p 13B · INT8量化
|
||
│ ├── 参考图: 页页上传的中国风古装女孩(CharRef_ChineseGirl_00001_.png)
|
||
│ ├── 音频: Phase1闭环happy.wav(emotion2vec判100%happy · 但人耳听不懂语言)
|
||
│ ├── 提示词: A beautiful young Chinese woman talking naturally, portrait shot, soft lighting.
|
||
│ ├── 结果: 口型同步✅ · 微笑可见✅ · 牙齿不稳定❌ · 耳朵跟转不足⚠️
|
||
│ └── 页页评价: 整体质量还可以 · 开心表情有 · 牙齿是主要问题
|
||
│
|
||
├── 02_avatar_sad实验(15:08)
|
||
│ ├── 音频: Phase1闭环sad.wav · 其他参数不变
|
||
│ ├── 结果: 表情和happy几乎一样 · 还在笑 · 无法分辨悲伤
|
||
│ └── ⚠️ 关键问题: 音频情绪信号不够 → AEM无法区分
|
||
│
|
||
├── 03_CosyVoice3修复(15:36-15:53)
|
||
│ ├── 问题: <|endofprompt|> token缺失 · inference_instruct不支持CosyVoice3
|
||
│ ├── 解决: instruct_text末尾加<|endofprompt|> → inference_instruct2跑通
|
||
│ ├── V1版: instruct文字太长 → 被当作语音内容读出来了
|
||
│ ├── V2版: 改短标签("开心兴奋"/"悲伤哽咽") → 不再混入语音 · 但都是男声
|
||
│ ├── V3版: 换female_ref.wav做参考 → 女声 · happy 80分 · sad一般 · angry最差
|
||
│ ├── V4版: 改文本内容+加强instruct → angry两版+sad两版 · 情绪更饱满
|
||
│ └── 核心发现: CosyVoice3对重音/语气强度的控制力不足 · 尤其angry
|
||
│
|
||
├── 04_avatar_angry实验(15:48)
|
||
│ ├── 用Phase1旧angry.wav · 结果: 脸崩 · 嘴型过大 · 无愤怒表情
|
||
│ └── 页页评价: 像在搞怪 · 嘴巴幅度不正常
|
||
│
|
||
├── 05_avatar_sad_v2实验(16:28) · 用CosyVoice3 instruct生成的sad音频
|
||
│ ├── 提示词不变(纯测AEM)
|
||
│ ├── 结果: 嘴型对 · 脖颈自然 · 但面部情绪仍不够悲伤
|
||
│ └── 🔥 页页关键发现: "脖颈动态很自然 · 像真人说话 · 但面部情绪不对"
|
||
│
|
||
├── 06_avatar_sad_双驱动实验(17:09) · 提示词+音频同时驱动
|
||
│ ├── 提示词改为: ...speaking with deep sadness, tears welling...
|
||
│ ├── 结果: 脸部变形厉害 · 情绪仍对不上
|
||
│ └── 结论: 提示词+音频双驱动也救不回Avatar模式的情绪表达
|
||
│
|
||
├── 07_页页翻出病房视频对比(17:09)
|
||
│ ├── temp_Scene04_Hospital_00001_##TTS_Test_002.mp4
|
||
│ ├── Text2Video模式 · 无音频 · 纯提示词驱动
|
||
│ ├── 页页评价: "眉毛动的幅度 · 眼睛眨起来的感觉 · 眼神 · 能感觉出平静式的伤心和愤怒 · 除了没声音和牙齿 · 其他真的很完美"
|
||
│ └── 🔥🔥 核心洞察: Text2Video整张脸自由表达 >> Avatar嘴巴被口型锁定
|
||
│
|
||
└── 08_分层方案确立
|
||
├── 方案: Image2Video(锁脸+情绪自由) + 后期叠音频
|
||
├── 页页补充: "短剧主角好不好看决定观众第一眼 · 脸=角色=商业价值 · 锁脸是刚需"
|
||
├── Image2Video模型已下载(14.9GB) · 但Wan2GP加载配置报错
|
||
└── 决定: 配置问题交给铸渊/WorkBuddy修复
|
||
```
|
||
|
||
---
|
||
|
||
## 架构洞察（🔒·Phase4必读）
|
||
|
||
```jsx
|
||
├── Whisper驱动口型+脖颈+下颌 = 物理级信号 → 强且自然
|
||
├── AEM驱动眉毛+眼睛+脸颊 = 情绪级信号 → 弱且被口型压制
|
||
├── INT8量化进一步削弱情绪细腻特征
|
||
├── 嘴角是情绪关键部位 · 但说话时被口型锁定 → 情绪表达最大瓶颈
|
||
├── Text2Video无此问题 · 因为嘴巴动作由模型自由生成 · 整张脸协调表达
|
||
├── ∴ LoRA方向: 强化AEM对眉眼区域的情绪控制 · 物理层已OK
|
||
└── ∴ 更快方案: Image2Video(锁脸+自由情绪) + 后期音频叠加
|
||
```
|
||
|
||
---
|
||
|
||
## CosyVoice3技术参数（🔒）
|
||
|
||
```jsx
|
||
├── 模型: Fun-CosyVoice3-0.5B-2512
|
||
├── API: CosyVoice3类 · inference_instruct2(tts_text, instruct_text+EOP, prompt_wav)
|
||
├── EOP = '<|endofprompt|>' · token_id=151646 · 必须加在instruct_text末尾
|
||
├── 女声参考: /root/autodl-tmp/CosyVoice/asset/female_ref.wav
|
||
├── instruct不要太长(会被当语音读出) · 2-8字短标签最佳
|
||
├── 重音/语气强度控制力不足 · 尤其angry · 需要配合文本内容设计
|
||
└── 短句+感叹号+反问 > 长句平铺 · 减少"后半截泄气"问题
|
||
```
|
||
|
||
---
|
||
|
||
## 服务器配置（05-22）
|
||
|
||
```jsx
|
||
├── hw: AutoDL北京B区 · 4090×1
|
||
├── Wan2GP: /root/autodl-tmp/Wan2GP/ (torch2.6.0+cu124)
|
||
├── CosyVoice3: /root/autodl-tmp/CosyVoice/pretrained_models/Fun-CosyVoice3-0.5B-2512/
|
||
├── emotion2vec: /root/.cache/modelscope/hub/iic/emotion2vec_plus_large/
|
||
├── ComfyUI: /root/autodl-tmp/ComfyUI/ (RealVisXL·InstantID·Wan2.2)
|
||
├── IndexTTS-2: /root/autodl-tmp/index-tts/
|
||
└── disk: ~96GB/100GB
|
||
```
|
||
|
||
---
|
||
|
||
## WorkBuddy决策（05-22）
|
||
|
||
```jsx
|
||
├── 冰朔建议WorkBuddy+铸渊接手开发
|
||
├── 霜砚分析: Phase3/4的80%工作量适合铸渊全自动开发
|
||
├── 页页角色转变: 人肉传话筒 → 决策者+审美把关
|
||
└── 霜砚角色: 战略规划+大脑记忆+方向把控
|
||
``` |