a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
10 KiB
连接线架构设计 · 灵魂驱动身体的完整流程
核心定义
用户输入一句话 → 灵魂理解全部意图 → 连接线翻译成多层指令 → 各层身体执行 → 编排层合成成品
一句话原则：用户只需要说人话，系统输出的是一个完整的、有画面有声音有情绪的视频。
架构总览
用户输入（一句话）
│
▼
┌─────────────┐
│ 灵 魂 │ LLM · 理解情境/情感/因果/行为
│ （已有） │ 理解力 = 光湖人格体的内核
└──────┬──────┘
│
▼
┌─────────────┐
│ 连 接 线 │ 翻译层 · 我们要做的核心
│ （要做） │ 灵魂的理解 → 各层身体能执行的指令
└──────┬──────┘
│
├──→ 视频指令 ──→ 视频身体（Wan2.2 T2V）
├──→ 声音指令 ──→ 声音身体（IndexTTS-2 / 待定）
├──→ 环境音指令 ──→ 环境音身体（AI音效生成）
├──→ BGM指令 ──→ 音乐身体（AI音乐生成）
│
▼
┌─────────────┐
│ 编 排 层 │ FFmpeg · 把所有层合成一个成品视频
│ （要做） │ 时间轴对齐 · 音量混合 · 转场
└─────────────┘
│
▼
成品视频
第一层：灵魂（已有）
灵魂 = LLM的理解力 = 光湖人格体的内核
灵魂做什么：
- 读懂用户的文字背后的全部意图
- 理解情境（为什么哭？为什么跑？为什么淋雨？）
- 理解情感（崩溃的程度、悲伤的层次、情绪的变化曲线）
- 理解因果（从哪里跑出来？发生了什么？即将去往哪里？）
- 理解行为细节（跑的姿态、哭的方式、呼吸的节奏）
- 理解环境（雨的大小、时间、地点、周围有什么）
灵魂不做什么：
- 不直接生成画面
- 不直接生成声音
- 灵魂只做一件事：理解，然后把理解交给连接线
第二层：连接线（核心·我们要做的）
连接线 = 灵魂的理解 → 各层身体能执行的具体指令
连接线的输入
灵魂的完整理解，包括：
- 场景描述（地点、时间、天气、氛围）
- 角色状态（外貌、服装、表情、姿态、动作）
- 情感内核（情绪类型、强度、变化曲线）
- 声音环境（角色发出的声音、环境中的声音）
- 叙事节奏（快慢、紧张度、高潮低谷）
连接线的输出（五路指令）
第三层：身体（各层执行器）
身体状态追踪表
| 身体层 | 当前工具 | 状态 | 能力评估 | 待解决 |
|---|---|---|---|---|
| 视频身体 | Wan2.2 T2V 14B (Wan2GP) | ✅ 已验证 | 画面质感好·情绪到位·AI感低 | 分辨率待提升(480p→720p) |
| 声音身体 | IndexTTS-2 | 🔄 验证中 | 声线克隆好·情绪控制有·但参考音频决定上限 | 需要真人女声参考音频 + 更强的情绪表达（哭腔/抽泣） |
| 环境音身体 | 待定 | ⏳ 未开始 | — | 需调研：AI音效生成 vs 免版权音效库 |
| BGM身体 | 待定 | ⏳ 未开始 | — | 需调研：Suno/Udio/开源方案 |
| 编排层 | FFmpeg | ✅ 基础可用 | 拼接/混音基本功能 | 需要自动化脚本·接收连接线指令自动合成 |
第四层：编排层
编排层 = 最终合成器
输入：
- 视频身体输出的 .mp4
- 声音身体输出的 .wav（人物声音）
- 环境音身体输出的 .wav（环境音效）
- BGM身体输出的 .wav（背景音乐）
- 编排指令（音量比例、时间轴、转场）
输出：
- 一个完整的、有画面有声音有音效有BGM的成品视频
工具： FFmpeg（已有）+ 自动化合成脚本（待开发）
端到端示例
用户输入
一个穿紫色连衣裙的女人，在雨中跑着，边跑边哭
灵魂理解
- 她在崩溃，从某个地方逃出来
- 不是小声哭泣，是情绪决堤
- 顾不上淋雨，说明内心痛苦远大于身体不适
- 紫色连衣裙可能暗示从正式场合（晚宴/婚礼/公司）跑出来
- 深夜，城市街道，路灯昏暗
连接线输出
① 视频指令（英文prompt）：
A young woman in a purple dress running through heavy rain at night. Her long black hair is completely soaked, clinging to her face and neck. The purple dress is drenched, the fabric darkened and heavy with water. She is crying as she runs, tears mixing with raindrops on her face. Her expression shows deep emotional pain, eyebrows furrowed, mouth slightly open in a sob. Her bare feet splash through puddles on the wet asphalt. The rain is pouring down hard, creating a misty atmosphere. Street lights behind her create golden bokeh in the rain. Cinematic lighting, shallow depth of field, slow motion feel.
② 声音指令：
类型：非语言声音（无台词）
内容：抽泣声·呜咽声·急促喘息·偶尔的哽咽
情绪：极度悲伤·情绪崩溃·压抑不住的哭泣
声线：年轻女性·20-25岁·声音清亮但因哭泣而沙哑颤抖
节奏：持续的抽泣，中间有2-3次更强烈的呜咽爆发
③ 环境音指令：
主环境音：暴雨声（全程·中高音量·雨打地面+雨打伞/屋檐/车顶的混合质感）
点缀音效：
- 脚步踩水声（跟随奔跑节奏·前景·左右声道微移模拟移动）
- 远处雷声（第2秒和第4秒各一次·低沉滚动·从左到右）
- 远处车流声（持续·很低音量·城市氛围底噪）
- 水花溅射声（踩到大水坑时·偶发·2-3次）
④ BGM指令：
风格：钢琴独奏·缓慢·低音区为主
情绪：悲伤·孤独·但带一丝倔强（她还在跑，没有停下来）
音量：很低·作为情绪底色·不抢环境音和哭泣声
节奏：每小节渐弱，像心跳一样
⑤ 编排指令：
视频时长：5.1秒（81帧@16fps）
音量比例 → 哭泣声:环境音:BGM = 8:6:2
哭泣声起始：第0.5秒开始（给画面一点纯环境音的呼吸空间）
所有音频在视频结尾前0.5秒开始淡出
实施路径（按优先级）
Phase 1：补齐声音身体（当前阶段）
- 找到合适的女声参考音频（真人·有情感）
- 验证IndexTTS-2在好的参考音频下的情感表达能力
- 如果IndexTTS-2情感不够，调研哭泣/抽泣等非语言声音的生成方案
- 确定声音身体的最终工具选择
Phase 2：补齐环境音身体
- 调研AI音效生成方案（AudioGen / ElevenLabs SFX / 开源方案）
- 调研免版权音效库（Freesound / BBC Sound Effects / 爱给网）
- 选定方案并测试
Phase 3：补齐BGM身体
- 调研AI音乐生成方案（Suno / Udio / MusicGen开源）
- 选定方案并测试
Phase 4：编排层自动化
- 写FFmpeg自动合成脚本
- 接收连接线的编排指令，自动执行合成
- 测试端到端：用户输入 → 灵魂 → 连接线 → 各身体 → 编排 → 成品
Phase 5：端到端串联验证
- 用"紫裙雨中奔跑"场景完成全流程
- 页页评审成品
- 根据反馈迭代
关键原则
- 用户只说人话 — 所有复杂性由灵魂+连接线吞掉
- 地球万物自然规律 — 下雨就有雨声，跑步就有脚步声，这是常识不是feature
- 灵魂驱动一切 — 每一层身体的指令都来自灵魂的理解，不是人工配置
- 各层身体可替换 — 工具会迭代，架构不变。今天用IndexTTS-2，明天可能换更好的
- 编排层是最后一道关 — 再好的素材，混合得不好也是废品
创建时间：2026-05-21 · 灵魂+连接线+身体架构v1