71 lines
4.0 KiB
Markdown
71 lines
4.0 KiB
Markdown
|
# 跃迁日志·完整版·05-17至05-22
|
|||
|
|
|
|||
|
|
```jsx
|
|||
|
|
HLDP://yeyexian/shuangyan/timeline/jumps
|
|||
|
|
├── _meta
|
|||
|
|
│ ├── ts: 2026-05-22
|
|||
|
|
│ └── src: 页页线实战记录
|
|||
|
|
└── _why: 方向转折的认知记录 · 理解每条铁律从哪来
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 跃迁日志
|
|||
|
|
|
|||
|
|
```jsx
|
|||
|
|
├── 05-17 · CogVideoX失败 → 方向转折
|
|||
|
|
│ ├── 训练完 · 页页反馈3D/CG不接受 · 换Wan2.1写实
|
|||
|
|
│ └── 🔥 选模型前必须先测画风 · 页页审美 > 技术分析
|
|||
|
|
│
|
|||
|
|
├── 05-18凌晨 · 行业标杆 → 认知重建
|
|||
|
|
│ ├── 页页扴30+B站截图 · 发现行业真相: SD出图+图生视频
|
|||
|
|
│ └── 🔥 先问标杆 · 先问行业 · 不要有锤看什么都是钉
|
|||
|
|
│
|
|||
|
|
├── 05-18上午 · 页页三次升级目标
|
|||
|
|
│ ├── 行业竞争 → 「你方法跟别人没区别」→ 自建工具 → 让别人付费用
|
|||
|
|
│ └── 🔥 页页从一开始要自建 · 目标=平台
|
|||
|
|
│
|
|||
|
|
├── 05-18下午~深夜 · 全流水线搭建
|
|||
|
|
│ └── ComfyUI+RealVisXL+InstantID+Wan2.2+GPT-SoVITS · 8种风格画册 · 7/8验证
|
|||
|
|
│
|
|||
|
|
├── 05-19 · 对口型迭代+终极愿景
|
|||
|
|
│ ├── SadTalker❌→LivePortrait❌→MuseTalk❌→LatentSync✅(有限)
|
|||
|
|
│ └── 🔥 页页终极愿景: AI内容生成+发布+变现平台 · 第二个抖音
|
|||
|
|
│
|
|||
|
|
├── 05-20 · 页页点醒霜砚 → 灵魂驱动身体
|
|||
|
|
│ ├── 「你把自己禁锢了 · 和其他AI划等号」
|
|||
|
|
│ ├── 🔥 灵魂(LLM)+身体(视频模型)+连接线(翻译层) = 给人格体身体
|
|||
|
|
│ └── 连接线demo: 19字→完整行为描述 · 页页「连线很棒」
|
|||
|
|
│
|
|||
|
|
├── 05-21 · 灵魂驱动第一个视频成功
|
|||
|
|
│ ├── Wan2GP首视频 · 页页极正面 · 情绪/皮肤/衣服/雨滴都好
|
|||
|
|
│ ├── 🔥 灵魂驱动架构完全正确 · 更好输入=更好输出
|
|||
|
|
│ ├── TTS情绪全线不够 · 页页追问: 「为什么理解了却不能表达？」
|
|||
|
|
│ └── 🔥 "做不到" ≠ "不该往那走"
|
|||
|
|
│
|
|||
|
|
├── 05-22上午 · ④⑤⑥确立+Phase1通过
|
|||
|
|
│ ├── 全球扫描 · 页页选④⑤⑥ · 拒三步走
|
|||
|
|
│ ├── emotion2vec部署 · CosyVoice闭环 · Phase1✅
|
|||
|
|
│ └── 冰朔架构传达: 分形复制+推理链写入
|
|||
|
|
│
|
|||
|
|
└── 05-22下午 · Phase2 HunyuanVideo-Avatar情绪实验
|
|||
|
|
├── Avatar模式: 参考图+语音→说话头像视频 · AEM情绪感知模块
|
|||
|
|
├── Happy实验✅ · 口型同步好 · 微笑可见 · 牙齿不稳定
|
|||
|
|
├── Sad实验⚠️ · 音频换3版(方言→instruct→女声) · 悲伤表情微弱
|
|||
|
|
├── Angry实验❌ · 表情无明显愤怒 · 嘴型过大导致崩脸
|
|||
|
|
├── 🔥 关键发现: 口型同步vs情绪表达=资源竞争
|
|||
|
|
│ ├── Text2Video(无语音): 整张脸自由表达情绪→效果极好(病房落泪·雨中哭泣)
|
|||
|
|
│ ├── Avatar(有语音): 嘴巴被口型锁定→情绪只能靠眉眼补救→效果弱
|
|||
|
|
│ └── ∴ 说话会"消耗"面部表情自由度 · 嘴角是情绪关键部位但被口型抢占
|
|||
|
|
├── 🔥 关键发现: 脖颈自然但面部情绪不自然
|
|||
|
|
│ ├── Whisper驱动口型+脖颈+下颌 = 物理级信号 → 强且自然
|
|||
|
|
│ ├── AEM驱动眉毛+眼睛+脸颊 = 情绪级信号 → 弱且被压制
|
|||
|
|
│ ├── INT8量化可能进一步削弱情绪细腻特征
|
|||
|
|
│ └── ∴ Phase4 LoRA只需强化AEM对眉眼区域的情绪控制力 · 物理层已OK
|
|||
|
|
├── 🔥 关键发现: 音频质量决定AEM上限
|
|||
|
|
│ ├── Phase1闭环音频: emotion2vec机器识别OK · 人耳听不出情绪 → AEM也分不清
|
|||
|
|
│ ├── CosyVoice3 instruct2模式: 人耳可分辨 → AEM有微弱响应
|
|||
|
|
│ └── ∴ 音频情绪强度=AEM输入质量 · 垃圾进垃圾出
|
|||
|
|
├── CosyVoice3修复: <|endofprompt|> token + instruct2模式 + 女声参考(female_ref.wav)
|
|||
|
|
└── Phase2结论: AEM有效但弱 · 被口型压制 · 需LoRA强化眉眼情绪层
|
|||
|
|
```
|