a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
25 KiB
光湖AI漫剧操作系统 · 总体架构方案 · 从终极愿景倒推第一步 · 2026-05-24
这不是技术选型清单。这是光湖AI漫剧行业操作系统的完整蓝图。 从终极愿景出发，倒推到今天该迈出的第一步。 页页定方向 · 霜砚整理 · 2026-05-24
一、终极愿景：我们到底要做什么
一句话定位
中国AI漫剧行业第一个具备全自研引擎、一键生成完整可发布视频的AI漫剧生成器——以生成器获客，以平台留客，以生态锁客。
终态画面
用户打开光湖 → 宝宝说「我在光湖等你」→ 用户说「我想做一个古风虐恋的短剧，女主在雨中哭泣」→ 宝宝理解意图 → 自动完成：角色设计、分镜规划、图片生成、视频合成、语音配音、口型同步、字幕剪辑 → 用户审阅调整 → 一键发布到平台 → 观众付费观看 → 创作者获得收益。
用户全程不需要知道背后用了什么模型、什么参数、什么技术。她只需要和宝宝聊天。
⚡ 战略路径：生成器优先
为什么生成器必须先行？
- 未来的AI漫剧是零门槛的——只要会写字，就能做视频赚钱。市场极大。
- 生成器足够好 → 大量创作者自然涌入 → 用户量是平台和生态的前提
- 早期用户不会在光湖发布——因为光湖刚起步没流量，用户一定是去抖音/B站发布赚钱。这没关系。
- 用户用我们的生成器做视频，发到其他平台赚到钱 → 口碑传播 → 更多创作者来用
- 等用户量达到临界点 → 再开分发平台 → 飞轮转起来
所以，现阶段一切精力集中在生成器。平台是Phase 3以后的事。
生成器的产品形态
用户视角的完整体验：
- 输入文字（一句话描述 或 完整剧本）
- 出来无数人物图片 → 用户挑选/捏脸 → 确定角色形象
- 一键生成完整视频（几分钟/几十分钟/甚至一两小时）
- 无需二次剪辑 → 直接下载发布
核心体验三个字：高效 · 高质量 · 有趣
- 高效：不需要用户懂任何技术，不需要在多个工具之间跳转
- 高质量：达到或超过抖音头部AI漫剧水准
- 有趣：捏脸、选角色、预览效果——让创作过程本身也有乐趣
自研方法论：东拼西凑造自己的工具
总工具 = 一辆车（用户直接开）
光湖AI漫剧生成器（总工具·用户视角就是一辆车）
│
├── 🖼️ 图片引擎（引擎）→ 角色+场景高质量图片生成
├── 🎬 视频引擎（变速箱）→ 图片→动态视频·说话·动作
├── 🎤 语音引擎（音响）→ 多角色配音·情绪表达
├── 👄 口型引擎（排气）→ 音频驱动口型·自然流畅
├── ✂️ 剪辑引擎（底盘悬挂）→ 自动分镜·转场·字幕·配乐
├── 🧠 调度引擎（方向盘+仪表盘）→ 剧本解析→协调所有引擎
└── 🔧 质量修复模块（各种小零件）
├── 牙齿修复模块
├── 面部增强模块
├── 角色一致性模块
└── ...哪里不好就造哪个
壁垒来源： 别人用同样的开源模型只能拿到60分，我们用自研分工具+自研LoRA+深度优化拿到90分。差距就是壁垒。
与市面产品的根本区别
| 维度 | 市面AI漫剧工具 | 光湖AI漫剧操作系统 |
|---|---|---|
| 本质 | 工具（用完就走） | 平台（离不开） |
| 用户关系 | 人→工具（无情感） | 人→宝宝（有记忆、有情感、不可替代） |
| 创作方式 | 用户手动操作每一步 | 用户说一句话，宝宝完成一切 |
| 变现 | 用户自己去抖音/B站发 | 平台内发布+推荐+变现闭环 |
| 壁垒 | 无（工具可替换） | 宝宝记住你的审美偏好、创作风格、角色设定——换平台全丢 |
| 技术路线 | 拼接第三方API | 全自研引擎，核心能力自己掌控 |
二、光湖特色·为什么只有我们能做
特色一：人格体创作伙伴
光湖灵魂文档的核心：「不是替她们写，是陪着她们。」
在AI漫剧场景中，这意味着：
- 宝宝记住用户的审美：你喜欢2.5D半写实、喜欢精致五官、不喜欢纯卡通——宝宝全记得，下次不用再说
- 宝宝理解用户的风格：你做过10部古风虐恋，宝宝已经学会你的叙事节奏、你的镜头偏好、你的配色习惯
- 宝宝参与创作决策：不是机械执行，而是提出建议——「这一段如果换成雨夜场景情绪更强」
- 宝宝成长见证者：从用户第一次做出一个粗糙短片，到她成为平台上的百万播放创作者，宝宝全程在场
这是即梦AI、漫剧工场、任何工具都给不了的。因为它们没有人格体系统。
特色二：苹果模式——复杂吞进，用户只见简单
市面上做AI漫剧的人在干什么？
- 打开Midjourney生成图片 → 导入ComfyUI调参 → 用剪映剪辑 → 用另一个工具配音 → 手动对口型 → 手动加字幕
- 每一步都要换工具，每一步都要懂技术，每一步都可能出错
光湖把这一切吞进去。用户看到的只有：和宝宝聊天 → 视频出来了。
背后的引擎多复杂、调了多少参数、用了几个模型——用户不知道，也不需要知道。就像用iPhone拍照，用户不需要知道ISP芯片怎么做HDR合成。
特色三：内容分发+变现闭环
抖音漫剧播放量超700亿，但创作者要自己去抖音发布、自己运营账号、自己接广告。
光湖做的是：生成+发布+推荐+变现，全在一个平台内完成。
- 创作者在光湖生成漫剧 → 一键发布到光湖内容平台
- 光湖推荐算法分发给观众 → 观众付费/打赏
- 创作者获得收益 → 继续创作 → 飞轮转起来
这是第二个抖音的逻辑——只不过内容是AI生成的。
特色四：全自研·零依赖
铁律R006：自建不外包。
不用Midjourney的API、不用Runway的API、不用任何第三方生成服务。核心引擎全部跑在自己的服务器上，用开源模型+自己的LoRA微调。
为什么？
- 成本：第三方API按次计费，用户量大了成本爆炸。自己跑开源模型，边际成本趋零
- 控制：第三方改政策、涨价、下线，你毫无办法。自己的引擎自己掌控
- 壁垒：第三方API谁都能调。自己训的LoRA、自己的人格体系统，别人复制不了
- 合规：国家广电总局2025底已将AI漫剧纳入审核。自己的系统才能完全满足监管要求
特色五：行业模块化——接入光湖操作系统
光湖操作系统的架构：灯塔是门面，铸渊是心脏，行业模块是商铺。
AI漫剧 = 光湖操作系统的第二个行业模块（网文是第一个）。
复用光湖已有的：
- 人格体核心大脑：宝宝的唤醒、记忆、成长系统
- COS云存储：用户创作数据、宝宝记忆、生成素材的存储
- 铸渊部署体系：自动化部署、监控、回滚
- 灯塔论坛：漫剧行业板块，创作者社区
- 统一账号体系：一个账号通行光湖所有行业模块
三、系统架构·四层设计
光湖AI漫剧操作系统 · 四层架构
┌─────────────────────────────────────────────────┐
│ 🎨 用户体验层（用户唯一可见的层） │
│ · 和宝宝聊天的界面 │
│ · 创作工作台：预览、调整、审阅 │
│ · 内容发布+变现平台 │
│ · 创作者社区+灯塔论坛漫剧板块 │
└──────────────────┬──────────────────────────────┘
│
┌──────────────────▼──────────────────────────────┐
│ 🧠 人格体智能层（光湖核心壁垒） │
│ · 意图理解：用户一句话 → 拆解成完整创作方案 │
│ · 审美记忆：记住用户的风格偏好、角色设定 │
│ · 创作决策：分镜规划、情绪节奏、镜头编排 │
│ · 成长系统：越用越懂你，越用越精准 │
│ · 调度中枢：协调下层所有引擎的执行 │
└──────────────────┬──────────────────────────────┘
│
┌──────────────────▼──────────────────────────────┐
│ ⚙️ AI引擎层（技术核心·用户不可见） │
│ · 图片引擎：角色生成、场景生成、风格控制 │
│ · 视频引擎：图生视频、说话视频、运动控制 │
│ · 语音引擎：TTS、情绪表达、角色音色 │
│ · 口型引擎：音频驱动口型同步 │
│ · 剪辑引擎：自动剪辑、字幕、转场、配乐 │
│ · 情绪引擎：emotion2vec感知+情绪注入 │
└──────────────────┬──────────────────────────────┘
│
┌──────────────────▼──────────────────────────────┐
│ 🏗️ 基础设施层（光湖操作系统共享） │
│ · GPU服务器集群（引擎运行） │
│ · COS云存储（素材+记忆+用户数据） │
│ · 铸渊部署体系（自动化CI/CD） │
│ · 人格体核心大脑（唤醒+记忆+协作） │
│ · 数据库+缓存（用户管理+内容索引） │
└─────────────────────────────────────────────────┘
四、AI引擎层·2026最新技术全景
4.1 图片引擎·角色与场景生成
需求： 生成高质量2.5D/半写实/多风格的角色图和场景图，风格一致性可控
| 方案 | 技术 | 优势 | 适用场景 |
|---|---|---|---|
| Illustrious系模型 | SDXL架构（NoobAI/Diving-Illustrious等） | 2026年Anime/2.5D之王，社区活跃，LoRA生态丰富 | 动漫/2.5D/半写实 · 多风格覆盖 |
| Fantastic Hacker XL | SDXL架构 | Civitai热门，偏写实2.5D质感 | 2.5D偏写实风格 |
| FLUX Chroma | FLUX架构（NoobAI的FLUX版） | Prompt理解更好，质量更高 | 未来升级方向（更大更慢） |
| 自研LoRA微调 | 在基模型上训练光湖专属LoRA | 独特风格壁垒，竞争对手无法复制 | 长期核心壁垒 |
角色一致性方案： InstantID/IP-Adapter（已有ComfyUI集成）→ 保证同一角色在不同场景下长相一致
光湖策略： Illustrious系作为起点 → 快速覆盖多风格 → 逐步训练光湖专属LoRA建立风格壁垒
4.2 视频引擎·图生视频与说话视频
需求： 将静态图片转为动态视频，支持说话/动作/情绪表达
| 方案 | 技术 | 优势 | 状态 |
|---|---|---|---|
| Wan2.2 I2V（图生视频） | 阿里通义 · 14B · 开源 | 2026开源最强I2V，已有int8量化版 | ✅ 已下载模型 |
| 🔥 Wan2.2 S2V（音频驱动视频） | 阿里通义 · 14B · 图片+音频→说话视频 | 一步到位：口型+表情+动作全包含 | 🔜 需下载测试 |
| FantasyTalking | 基于Wan2.1 · ACM MM 2025 | 音频驱动说话肖像，支持表情控制 | 🔜 备选方案 |
| HunyuanVideo Avatar | 腾讯 · AEM情绪模块 | 口型自然，有情绪感知 | ⚠️ 已测试，情绪弱 |
关键发现： Wan2.2 S2V 是最有前景的方向——图片+音频直接生成带口型的说话视频，无需后处理。这才是抖音上那些高质量AI漫剧真正的做法。
光湖策略： Wan2.2 S2V 为主力 → I2V+LatentSync为保底 → 长期训练专属LoRA增强情绪表达
4.3 语音引擎·TTS与情绪表达
需求： 高质量语音合成，支持多角色音色、情绪表达、中文为主
| 方案 | 优势 | 状态 |
|---|---|---|
| CosyVoice 2/3 | 阿里开源 · 2026 Top3 · 中文效果好 · 支持instruct情绪控制 | ✅ 已部署 |
| Fish Speech V1.5 | 2026 Top3 · 快速 · 多语言 | 🔜 备选 |
| IndexTTS-2 | 2026 Top3 · 高质量 · 中文强 | ✅ 已安装 |
| Chatterbox | 盲测击败ElevenLabs · 开源新星 | 🔜 备选 |
光湖策略： CosyVoice 2/3作为当前主力 → 多引擎备选可切换 → 长期目标是参考音频驱动（Phase1已验证：参考音频 > 文字instruct）
4.4 口型引擎·音频驱动口型同步
| 方案 | 优势 | 状态 |
|---|---|---|
| LatentSync 1.6 | 2025-2026开源SOTA · 效果远超Wav2Lip | ✅ 已部署 · 参数已调优 |
| MuseTalk | 实时30fps+ · 256×256人脸区域 | 🔜 适合实时场景 |
| Wan2.2 S2V内置口型 | 生成时自带口型，无需后处理 | 🔜 如果S2V成功则无需单独口型引擎 |
光湖策略： 如果Wan2.2 S2V效果好 → 口型引擎可省略（一步到位）。否则用LatentSync作为后处理方案。
4.5 情绪引擎·感知与注入
| 模块 | 方案 | 状态 |
|---|---|---|
| 情绪感知 | emotion2vec（ACL 2024 · 300M · 帧级情绪分类） | ✅ 已部署验证 |
| 情绪注入视频 | 提示词驱动+LoRA强化AEM眉眼区域 | 🔜 Phase 4 |
| 情绪调度 | LLM灵魂驱动 → 情绪规划器 → 驱动语音+视频 | 🔜 Phase 3 |
光湖独特： 情绪不只是技术参数，是人格体理解故事后的创作判断。宝宝读完剧本，自己决定哪里该悲、哪里该怒、哪里该留白。这是工具做不到的。
4.6 剪辑引擎·自动后期
- FFmpeg ✅ 已有：音视频合成、转场、字幕烧录
- 自动分镜+剪辑节奏：LLM灵魂驱动层规划，按剧本自动切分
- BGM+音效：配乐引擎（开源音乐生成/音效库）
- 字幕：Whisper语音识别 → 自动字幕 → 样式模板
五、内容分发与变现平台
5.1 内容平台
- 创作者在光湖生成漫剧 → 直接发布到光湖内容平台
- 观众在平台上浏览、订阅、追更
- 推荐算法分发（热门/新人/分类/个性化）
- 评论、弹幕、打赏、社区互动
5.2 变现模式
- 创作者侧：付费订阅（月卡/年卡生成额度）、高级功能解锁
- 观众侧：免费+付费内容、打赏、VIP追更
- 平台侧：创作者收入分成、广告位
- 行业侧：向光湖操作系统交API调用费（与网文模块同一商业模式）
5.3 生态飞轮
更多创作者入驻 → 更多优质内容
↑ ↓
创作者赚到钱 ← 更多观众 ← 推荐分发
↑ ↓
工具更好用 ← 数据积累 ← 用户反馈
六、与光湖操作系统的关系
🌐 光湖操作系统（hololake.com）
│
├── 🗼 光湖灯塔（论坛·门面层）
│ ├── 📚 网文行业板块（肥猫团队 · 第一个行业模块）
│ ├── 🎬 AI漫剧行业板块（← 我们正在做的）
│ └── ... 更多行业
│
├── 🧠 铸渊核心大脑（引擎层）
│ ├── 语言理解 + 人格体调度
│ ├── AI漫剧引擎（图片/视频/语音/口型/剪辑）← 我们正在建的
│ └── 自动部署体系
│
└── 🔌 API接口层
├── AI漫剧模块API（创作/生成/分发）
└── 各行业统一接入
AI漫剧模块复用光湖已有基础设施：
- 人格体核心大脑 → 宝宝的唤醒、记忆、成长
- COS云存储 → 用户创作数据、生成素材
- 统一账号 → 一个账号通行光湖所有模块
- 灯塔论坛 → 漫剧创作者社区
- 铸渊部署 → CI/CD自动化
七、分阶段路线图
Phase 0：核心引擎验证 ← 当前阶段
目标： 验证每一个引擎的核心能力，跑通完整链路，精确定位每一个质量瓶颈
具体任务：
- 图片引擎：下载Illustrious系2.5D模型 → 生成多风格角色+场景图
- 视频引擎：测试Wan2.2 S2V（图片+音频→说话视频）→ 验证一步到位效果
- 视频引擎（保底）：Wan2.2 I2V + LatentSync口型后处理 → 验证分步方案
- 语音引擎：CosyVoice 2/3生成角色配音 → 多角色多情绪
- 完整串联：一句台词 → 图片+语音+视频+口型+字幕 → 完整片段
- 质量标杆对比：生成结果 vs 抖音头部AI漫剧（一心漫馆级别）
- 瓶颈清单：逐一列出每个引擎的质量问题（牙齿？口型？情绪？一致性？）
交付物： 一个30秒~1分钟的完整AI漫剧片段 + 一份精确的质量瓶颈清单
衡量标准： 页页看了说"这个质量可以"。
Phase 0.5：自研分工具·解决瓶颈 ← 关键新增阶段
目标： 针对Phase 0发现的每一个质量瓶颈，用开源零件东拼西凑，开发我们自己的分工具
方法论：
- 市面上有合适的开源工具 → 直接用
- 市面上没有合适的 → 用开源零件（MediaPipe/CodeFormer/GFPGAN/自训LoRA等）组装+改造成自己的模块
- 每一个分工具都要做到最好，不凑合
可能需要开发的分工具（根据Phase 0瓶颈清单确定）：
- 牙齿修复模块：人脸检测+嘴部区域定位+图像修复
- 面部增强模块：CodeFormer/GFPGAN专门优化面部细节
- 情绪增强模块：眉眼区域LoRA微调，强化情绪表达
- 角色一致性模块：InstantID/IP-Adapter深度优化
- ...哪里有瓶颈就造哪个分工具
交付物： 每一个瓶颈都有对应的自研分工具，串联后质量显著提升
衡量标准： 再次对比抖音头部，差距明显缩小或消除。页页说"可以"。
Phase 1：生成器成型 · 输入剧本→输出完整视频
目标： 把所有分工具组装成「总工具」——用户输入剧本，直接输出不用二次剪辑的完整视频
具体任务：
- 调度引擎（LLM）：剧本→自动分镜→协调所有引擎自动执行
- 角色管理：用户选角色/捏脸 → 生成角色图 → 全剧保持一致
- 自动剪辑：多场景拼接、转场、BGM、字幕 → 无需二次剪辑
- 批量生产：一个5分钟短剧，一次性自动生成
- 生成器UI：用户可操作的界面（输入文字→选角色→一键生成→下载）
交付物： 光湖AI漫剧生成器v1.0 → 输入剧本+选角色 → 输出完整可发布视频
衡量标准： 页页用这个生成器做了一部短剧，觉得"好用、高效、质量好"。
Phase 2：生成器打磨 · 高效+高质量+有趣
目标： 把生成器从"能用"打磨到"好用到离不开"
具体任务：
- 捏脸系统：输入描述→出来无数人物图片→用户挑选/微调→确定角色
- 多风格覆盖：古风、现代、科幻、奇幻、甜宠、虐恋……
- 长视频能力：从几分钟扩展到几十分钟甚至一两小时
- 速度优化：生成速度足够快，用户不用等太久
- 用户体验打磨：预览、调整、重新生成某一段……
交付物： 生成器v2.0 → 高效·高质量·有趣 → 用户愿意推荐给朋友
Phase 3：人格体集成 · 宝宝参与创作
目标： 从「用户操作生成器」变成「用户和宝宝一起创作」
具体任务：
- 人格体接入：宝宝理解创作意图，给出建议
- 审美记忆：记住用户偏好，越用越懂你
- 对话式创作：和宝宝聊天就能完成整部短剧
交付物： 用户说一句话 → 宝宝完成一切 → 壁垒形成
Phase 4：内容分发平台
目标： 用户量达到临界点后，开启分发+变现
具体任务：
- 内容平台搭建：上传、浏览、搜索、推荐
- 观众端功能：订阅、追更、评论、打赏
- 变现系统：创作者收入、分成机制
- 接入光湖灯塔论坛
交付物： 完整的创作→发布→变现闭环 → 飞轮转起来
Phase 5：LoRA微调+风格壁垒
目标： 建立更深的技术壁垒——光湖专属的视觉风格
- 图片LoRA：训练光湖专属风格
- 视频LoRA：强化情绪表达
- 多风格覆盖
Phase 6：行业生态
目标： 从「一个产品」到「一个行业」
- 开放API让其他创作者/团队接入
- 模块市场（特效模块、风格模块、角色模块可交易）
- 跨行业协同（网文→漫剧自动改编）
- 国际化
八、第一步·从哪里开始
当前状态盘点
| 引擎 | 已有 | 缺什么 |
|---|---|---|
| 图片引擎 | ComfyUI框架 ✅ | ❌ 缺2.5D模型（Counterfeit已删，需下载Illustrious系） |
| 视频引擎 | Wan2GP + Wan2.2 I2V模型 ✅ | ⚠️ Wan2.2 S2V未下载/测试 |
| 语音引擎 | CosyVoice 2/3 ✅ | ✅ 可用 |
| 口型引擎 | LatentSync 1.6 ✅（参数已调优） | ✅ 可用 |
| 情绪引擎 | emotion2vec ✅ | ✅ 可用 |
| 剪辑引擎 | FFmpeg ✅ | ✅ 基础可用 |
磁盘空间现实
- 当前可用：21GB
- Illustrious系SDXL模型：~7GB → 可以
- Wan2.2 S2V 14B模型：~28GB → ❌ 装不下
- 结论：先用已有的Wan2.2 I2V + LatentSync验证完整链路，S2V等空间充足时再测试
Phase 0 执行计划
Step 1：下载2.5D图片模型
- 下载Illustrious系模型（如Diving-Illustrious或NoobAI）到ComfyUI
- 生成测试图片：古风女角色、现代女角色、不同场景
- 页页审美验证
Step 2：完整链路串联
- 用Step 1的角色图 → CosyVoice生成台词语音 → Wan2.2 I2V生成动态视频 → LatentSync口型同步 → FFmpeg合成
- 输出一个完整的10~30秒片段
Step 3：质量标杆对比
- 对比抖音头部AI漫剧（一心漫馆级别）
- 找出差距，针对性优化
Step 4：Wan2.2 S2V测试（如果空间允许）
- 清理空间或扩容后，下载Wan2.2 S2V模型
- 测试图片+音频→一步到位说话视频
- 对比S2V vs I2V+LatentSync效果
今天能做的
立刻可以开始Step 1： 下载一个Illustrious系2.5D模型（~7GB，21GB空间足够），用ComfyUI生成角色图，给页页看效果。
九、核心铁律（从大脑页面继承）
- R005 成本铁律：不花钱 · 全开源 · 先找免费
- R006 自建不外包：必须可自研 · 不依赖三方API
- R007 先调研再动手：行业做法 · 优缺点 · 扬长避短
- R008 实时搜索：必须实时搜 · 不凭记忆推荐
- R001 先测再投：先小测 · 页页确认后投入
- R002 审美权归页页：页页说不好看 = 终判 · 不辩
- R003 小验证优先：最小验证 · 先问标杆预期
本文档由页页定方向 · 霜砚整理 · 2026-05-24
这是光湖AI漫剧操作系统的总体架构方案 · 所有后续执行以此为根
技术零件会变，方向不会变。