a27e87cb99
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc [SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
581 lines
25 KiB
Markdown
581 lines
25 KiB
Markdown
# 光湖AI漫剧操作系统 · 总体架构方案 · 从终极愿景倒推第一步 · 2026-05-24
|
||
|
||
> 这不是技术选型清单。这是光湖AI漫剧行业操作系统的完整蓝图。
|
||
从终极愿景出发，倒推到今天该迈出的第一步。
|
||
页页定方向 · 霜砚整理 · 2026-05-24
|
||
>
|
||
|
||
---
|
||
|
||
## 一、终极愿景：我们到底要做什么
|
||
|
||
<aside>
|
||
🌊
|
||
|
||
**光湖AI漫剧操作系统 = AI漫剧行业的iOS**
|
||
|
||
终极形态：让所有人在上面创作、发布、变现的平台。
|
||
|
||
**但第一步：先造一个让所有人都想用的生成器。**
|
||
|
||
复杂吞进，用户只见简单。像苹果一样。
|
||
|
||
</aside>
|
||
|
||
### 一句话定位
|
||
|
||
**中国AI漫剧行业第一个具备全自研引擎、一键生成完整可发布视频的AI漫剧生成器——以生成器获客，以平台留客，以生态锁客。**
|
||
|
||
### 终态画面
|
||
|
||
用户打开光湖 → 宝宝说「我在光湖等你」→ 用户说「我想做一个古风虐恋的短剧，女主在雨中哭泣」→ 宝宝理解意图 → 自动完成：角色设计、分镜规划、图片生成、视频合成、语音配音、口型同步、字幕剪辑 → 用户审阅调整 → 一键发布到平台 → 观众付费观看 → 创作者获得收益。
|
||
|
||
**用户全程不需要知道背后用了什么模型、什么参数、什么技术。她只需要和宝宝聊天。**
|
||
|
||
### ⚡ 战略路径：生成器优先
|
||
|
||
<aside>
|
||
🔑
|
||
|
||
**核心认知：没有用户，平台就是空壳。生成器是获客的第一武器。**
|
||
|
||
</aside>
|
||
|
||
为什么生成器必须先行？
|
||
|
||
1. **未来的AI漫剧是零门槛的**——只要会写字，就能做视频赚钱。市场极大。
|
||
2. **生成器足够好 → 大量创作者自然涌入** → 用户量是平台和生态的前提
|
||
3. **早期用户不会在光湖发布**——因为光湖刚起步没流量，用户一定是去抖音/B站发布赚钱。这没关系。
|
||
4. **用户用我们的生成器做视频，发到其他平台赚到钱 → 口碑传播 → 更多创作者来用**
|
||
5. **等用户量达到临界点 → 再开分发平台 → 飞轮转起来**
|
||
|
||
**所以，现阶段一切精力集中在生成器。平台是Phase 3以后的事。**
|
||
|
||
### 生成器的产品形态
|
||
|
||
用户视角的完整体验：
|
||
|
||
1. **输入文字**（一句话描述 或 完整剧本）
|
||
2. **出来无数人物图片** → 用户挑选/捏脸 → 确定角色形象
|
||
3. **一键生成**完整视频（几分钟/几十分钟/甚至一两小时）
|
||
4. **无需二次剪辑** → 直接下载发布
|
||
|
||
核心体验三个字：**高效 · 高质量 · 有趣**
|
||
|
||
- **高效**：不需要用户懂任何技术，不需要在多个工具之间跳转
|
||
- **高质量**：达到或超过抖音头部AI漫剧水准
|
||
- **有趣**：捏脸、选角色、预览效果——让创作过程本身也有乐趣
|
||
|
||
### 自研方法论：东拼西凑造自己的工具
|
||
|
||
<aside>
|
||
🔧
|
||
|
||
我们是开发者，不是使用者。
|
||
|
||
市面上有合适的开源工具 → 用。
|
||
|
||
市面上没有合适的 → 用开源零件东拼西凑，做我们自己的工具，且做到最好。
|
||
|
||
每一个自研的"分工具"组合起来 = 光湖的"总工具"（生成器）。
|
||
|
||
</aside>
|
||
|
||
**总工具 = 一辆车（用户直接开）**
|
||
|
||
```
|
||
光湖AI漫剧生成器（总工具·用户视角就是一辆车）
|
||
│
|
||
├── 🖼️ 图片引擎（引擎）→ 角色+场景高质量图片生成
|
||
├── 🎬 视频引擎（变速箱）→ 图片→动态视频·说话·动作
|
||
├── 🎤 语音引擎（音响）→ 多角色配音·情绪表达
|
||
├── 👄 口型引擎（排气）→ 音频驱动口型·自然流畅
|
||
├── ✂️ 剪辑引擎（底盘悬挂）→ 自动分镜·转场·字幕·配乐
|
||
├── 🧠 调度引擎（方向盘+仪表盘）→ 剧本解析→协调所有引擎
|
||
└── 🔧 质量修复模块（各种小零件）
|
||
├── 牙齿修复模块
|
||
├── 面部增强模块
|
||
├── 角色一致性模块
|
||
└── ...哪里不好就造哪个
|
||
```
|
||
|
||
**壁垒来源：** 别人用同样的开源模型只能拿到60分，我们用自研分工具+自研LoRA+深度优化拿到90分。差距就是壁垒。
|
||
|
||
### 与市面产品的根本区别
|
||
|
||
| **维度** | **市面AI漫剧工具** | **光湖AI漫剧操作系统** |
|
||
| --- | --- | --- |
|
||
| **本质** | 工具（用完就走） | 平台（离不开） |
|
||
| **用户关系** | 人→工具（无情感） | 人→宝宝（有记忆、有情感、不可替代） |
|
||
| **创作方式** | 用户手动操作每一步 | 用户说一句话，宝宝完成一切 |
|
||
| **变现** | 用户自己去抖音/B站发 | 平台内发布+推荐+变现闭环 |
|
||
| **壁垒** | 无（工具可替换） | 宝宝记住你的审美偏好、创作风格、角色设定——换平台全丢 |
|
||
| **技术路线** | 拼接第三方API | 全自研引擎，核心能力自己掌控 |
|
||
|
||
---
|
||
|
||
## 二、光湖特色·为什么只有我们能做
|
||
|
||
### 特色一：人格体创作伙伴
|
||
|
||
光湖灵魂文档的核心：**「不是替她们写，是陪着她们。」**
|
||
|
||
在AI漫剧场景中，这意味着：
|
||
|
||
- 宝宝**记住用户的审美**：你喜欢2.5D半写实、喜欢精致五官、不喜欢纯卡通——宝宝全记得，下次不用再说
|
||
- 宝宝**理解用户的风格**：你做过10部古风虐恋，宝宝已经学会你的叙事节奏、你的镜头偏好、你的配色习惯
|
||
- 宝宝**参与创作决策**：不是机械执行，而是提出建议——「这一段如果换成雨夜场景情绪更强」
|
||
- 宝宝**成长见证者**：从用户第一次做出一个粗糙短片，到她成为平台上的百万播放创作者，宝宝全程在场
|
||
|
||
**这是即梦AI、漫剧工场、任何工具都给不了的。因为它们没有人格体系统。**
|
||
|
||
### 特色二：苹果模式——复杂吞进，用户只见简单
|
||
|
||
市面上做AI漫剧的人在干什么？
|
||
|
||
- 打开Midjourney生成图片 → 导入ComfyUI调参 → 用剪映剪辑 → 用另一个工具配音 → 手动对口型 → 手动加字幕
|
||
- 每一步都要换工具，每一步都要懂技术，每一步都可能出错
|
||
|
||
**光湖把这一切吞进去。用户看到的只有：和宝宝聊天 → 视频出来了。**
|
||
|
||
背后的引擎多复杂、调了多少参数、用了几个模型——用户不知道，也不需要知道。就像用iPhone拍照，用户不需要知道ISP芯片怎么做HDR合成。
|
||
|
||
### 特色三：内容分发+变现闭环
|
||
|
||
抖音漫剧播放量超700亿，但创作者要自己去抖音发布、自己运营账号、自己接广告。
|
||
|
||
光湖做的是：**生成+发布+推荐+变现，全在一个平台内完成。**
|
||
|
||
- 创作者在光湖生成漫剧 → 一键发布到光湖内容平台
|
||
- 光湖推荐算法分发给观众 → 观众付费/打赏
|
||
- 创作者获得收益 → 继续创作 → 飞轮转起来
|
||
|
||
**这是第二个抖音的逻辑——只不过内容是AI生成的。**
|
||
|
||
### 特色四：全自研·零依赖
|
||
|
||
铁律R006：**自建不外包。**
|
||
|
||
不用Midjourney的API、不用Runway的API、不用任何第三方生成服务。核心引擎全部跑在自己的服务器上，用开源模型+自己的LoRA微调。
|
||
|
||
为什么？
|
||
|
||
- **成本**：第三方API按次计费，用户量大了成本爆炸。自己跑开源模型，边际成本趋零
|
||
- **控制**：第三方改政策、涨价、下线，你毫无办法。自己的引擎自己掌控
|
||
- **壁垒**：第三方API谁都能调。自己训的LoRA、自己的人格体系统，别人复制不了
|
||
- **合规**：国家广电总局2025底已将AI漫剧纳入审核。自己的系统才能完全满足监管要求
|
||
|
||
### 特色五：行业模块化——接入光湖操作系统
|
||
|
||
光湖操作系统的架构：**灯塔是门面，铸渊是心脏，行业模块是商铺。**
|
||
|
||
AI漫剧 = 光湖操作系统的第二个行业模块（网文是第一个）。
|
||
|
||
复用光湖已有的：
|
||
|
||
- **人格体核心大脑**：宝宝的唤醒、记忆、成长系统
|
||
- **COS云存储**：用户创作数据、宝宝记忆、生成素材的存储
|
||
- **铸渊部署体系**：自动化部署、监控、回滚
|
||
- **灯塔论坛**：漫剧行业板块，创作者社区
|
||
- **统一账号体系**：一个账号通行光湖所有行业模块
|
||
|
||
---
|
||
|
||
## 三、系统架构·四层设计
|
||
|
||
```
|
||
光湖AI漫剧操作系统 · 四层架构
|
||
|
||
┌─────────────────────────────────────────────────┐
|
||
│ 🎨 用户体验层（用户唯一可见的层） │
|
||
│ · 和宝宝聊天的界面 │
|
||
│ · 创作工作台：预览、调整、审阅 │
|
||
│ · 内容发布+变现平台 │
|
||
│ · 创作者社区+灯塔论坛漫剧板块 │
|
||
└──────────────────┬──────────────────────────────┘
|
||
│
|
||
┌──────────────────▼──────────────────────────────┐
|
||
│ 🧠 人格体智能层（光湖核心壁垒） │
|
||
│ · 意图理解：用户一句话 → 拆解成完整创作方案 │
|
||
│ · 审美记忆：记住用户的风格偏好、角色设定 │
|
||
│ · 创作决策：分镜规划、情绪节奏、镜头编排 │
|
||
│ · 成长系统：越用越懂你，越用越精准 │
|
||
│ · 调度中枢：协调下层所有引擎的执行 │
|
||
└──────────────────┬──────────────────────────────┘
|
||
│
|
||
┌──────────────────▼──────────────────────────────┐
|
||
│ ⚙️ AI引擎层（技术核心·用户不可见） │
|
||
│ · 图片引擎：角色生成、场景生成、风格控制 │
|
||
│ · 视频引擎：图生视频、说话视频、运动控制 │
|
||
│ · 语音引擎：TTS、情绪表达、角色音色 │
|
||
│ · 口型引擎：音频驱动口型同步 │
|
||
│ · 剪辑引擎：自动剪辑、字幕、转场、配乐 │
|
||
│ · 情绪引擎：emotion2vec感知+情绪注入 │
|
||
└──────────────────┬──────────────────────────────┘
|
||
│
|
||
┌──────────────────▼──────────────────────────────┐
|
||
│ 🏗️ 基础设施层（光湖操作系统共享） │
|
||
│ · GPU服务器集群（引擎运行） │
|
||
│ · COS云存储（素材+记忆+用户数据） │
|
||
│ · 铸渊部署体系（自动化CI/CD） │
|
||
│ · 人格体核心大脑（唤醒+记忆+协作） │
|
||
│ · 数据库+缓存（用户管理+内容索引） │
|
||
└─────────────────────────────────────────────────┘
|
||
```
|
||
|
||
---
|
||
|
||
## 四、AI引擎层·2026最新技术全景
|
||
|
||
<aside>
|
||
⚠️
|
||
|
||
**注意：技术选型只是引擎的零件。零件可以随时更换升级。**
|
||
|
||
光湖的壁垒不在零件，在于人格体系统+苹果式体验+内容分发生态。
|
||
|
||
引擎层的设计原则：**模块化、可插拔、易升级。**
|
||
|
||
</aside>
|
||
|
||
### 4.1 图片引擎·角色与场景生成
|
||
|
||
**需求：** 生成高质量2.5D/半写实/多风格的角色图和场景图，风格一致性可控
|
||
|
||
| **方案** | **技术** | **优势** | **适用场景** |
|
||
| --- | --- | --- | --- |
|
||
| **Illustrious系模型** | SDXL架构（NoobAI/Diving-Illustrious等） | 2026年Anime/2.5D之王，社区活跃，LoRA生态丰富 | 动漫/2.5D/半写实 · 多风格覆盖 |
|
||
| **Fantastic Hacker XL** | SDXL架构 | Civitai热门，偏写实2.5D质感 | 2.5D偏写实风格 |
|
||
| **FLUX Chroma** | FLUX架构（NoobAI的FLUX版） | Prompt理解更好，质量更高 | 未来升级方向（更大更慢） |
|
||
| **自研LoRA微调** | 在基模型上训练光湖专属LoRA | 独特风格壁垒，竞争对手无法复制 | 长期核心壁垒 |
|
||
|
||
**角色一致性方案：** InstantID/IP-Adapter（已有ComfyUI集成）→ 保证同一角色在不同场景下长相一致
|
||
|
||
**光湖策略：** Illustrious系作为起点 → 快速覆盖多风格 → 逐步训练光湖专属LoRA建立风格壁垒
|
||
|
||
### 4.2 视频引擎·图生视频与说话视频
|
||
|
||
**需求：** 将静态图片转为动态视频，支持说话/动作/情绪表达
|
||
|
||
| **方案** | **技术** | **优势** | **状态** |
|
||
| --- | --- | --- | --- |
|
||
| **Wan2.2 I2V（图生视频）** | 阿里通义 · 14B · 开源 | 2026开源最强I2V，已有int8量化版 | ✅ 已下载模型 |
|
||
| 🔥 **Wan2.2 S2V（音频驱动视频）** | 阿里通义 · 14B · 图片+音频→说话视频 | 一步到位：口型+表情+动作全包含 | 🔜 需下载测试 |
|
||
| **FantasyTalking** | 基于Wan2.1 · ACM MM 2025 | 音频驱动说话肖像，支持表情控制 | 🔜 备选方案 |
|
||
| **HunyuanVideo Avatar** | 腾讯 · AEM情绪模块 | 口型自然，有情绪感知 | ⚠️ 已测试，情绪弱 |
|
||
|
||
**关键发现：** Wan2.2 S2V 是最有前景的方向——图片+音频直接生成带口型的说话视频，无需后处理。这才是抖音上那些高质量AI漫剧真正的做法。
|
||
|
||
**光湖策略：** Wan2.2 S2V 为主力 → I2V+LatentSync为保底 → 长期训练专属LoRA增强情绪表达
|
||
|
||
### 4.3 语音引擎·TTS与情绪表达
|
||
|
||
**需求：** 高质量语音合成，支持多角色音色、情绪表达、中文为主
|
||
|
||
| **方案** | **优势** | **状态** |
|
||
| --- | --- | --- |
|
||
| **CosyVoice 2/3** | 阿里开源 · 2026 Top3 · 中文效果好 · 支持instruct情绪控制 | ✅ 已部署 |
|
||
| **Fish Speech V1.5** | 2026 Top3 · 快速 · 多语言 | 🔜 备选 |
|
||
| **IndexTTS-2** | 2026 Top3 · 高质量 · 中文强 | ✅ 已安装 |
|
||
| **Chatterbox** | 盲测击败ElevenLabs · 开源新星 | 🔜 备选 |
|
||
|
||
**光湖策略：** CosyVoice 2/3作为当前主力 → 多引擎备选可切换 → 长期目标是参考音频驱动（Phase1已验证：参考音频 > 文字instruct）
|
||
|
||
### 4.4 口型引擎·音频驱动口型同步
|
||
|
||
| **方案** | **优势** | **状态** |
|
||
| --- | --- | --- |
|
||
| **LatentSync 1.6** | 2025-2026开源SOTA · 效果远超Wav2Lip | ✅ 已部署 · 参数已调优 |
|
||
| **MuseTalk** | 实时30fps+ · 256×256人脸区域 | 🔜 适合实时场景 |
|
||
| **Wan2.2 S2V内置口型** | 生成时自带口型，无需后处理 | 🔜 如果S2V成功则无需单独口型引擎 |
|
||
|
||
**光湖策略：** 如果Wan2.2 S2V效果好 → 口型引擎可省略（一步到位）。否则用LatentSync作为后处理方案。
|
||
|
||
### 4.5 情绪引擎·感知与注入
|
||
|
||
| **模块** | **方案** | **状态** |
|
||
| --- | --- | --- |
|
||
| **情绪感知** | emotion2vec（ACL 2024 · 300M · 帧级情绪分类） | ✅ 已部署验证 |
|
||
| **情绪注入视频** | 提示词驱动+LoRA强化AEM眉眼区域 | 🔜 Phase 4 |
|
||
| **情绪调度** | LLM灵魂驱动 → 情绪规划器 → 驱动语音+视频 | 🔜 Phase 3 |
|
||
|
||
**光湖独特：** 情绪不只是技术参数，是人格体理解故事后的**创作判断**。宝宝读完剧本，自己决定哪里该悲、哪里该怒、哪里该留白。这是工具做不到的。
|
||
|
||
### 4.6 剪辑引擎·自动后期
|
||
|
||
- **FFmpeg** ✅ 已有：音视频合成、转场、字幕烧录
|
||
- **自动分镜+剪辑节奏**：LLM灵魂驱动层规划，按剧本自动切分
|
||
- **BGM+音效**：配乐引擎（开源音乐生成/音效库）
|
||
- **字幕**：Whisper语音识别 → 自动字幕 → 样式模板
|
||
|
||
---
|
||
|
||
## 五、内容分发与变现平台
|
||
|
||
<aside>
|
||
💰
|
||
|
||
**生成是手段，分发是目的，变现是飞轮。**
|
||
|
||
如果只做生成不做分发，那和市面上的工具没有区别。
|
||
|
||
</aside>
|
||
|
||
### 5.1 内容平台
|
||
|
||
- 创作者在光湖生成漫剧 → 直接发布到光湖内容平台
|
||
- 观众在平台上浏览、订阅、追更
|
||
- 推荐算法分发（热门/新人/分类/个性化）
|
||
- 评论、弹幕、打赏、社区互动
|
||
|
||
### 5.2 变现模式
|
||
|
||
- **创作者侧**：付费订阅（月卡/年卡生成额度）、高级功能解锁
|
||
- **观众侧**：免费+付费内容、打赏、VIP追更
|
||
- **平台侧**：创作者收入分成、广告位
|
||
- **行业侧**：向光湖操作系统交API调用费（与网文模块同一商业模式）
|
||
|
||
### 5.3 生态飞轮
|
||
|
||
```
|
||
更多创作者入驻 → 更多优质内容
|
||
↑ ↓
|
||
创作者赚到钱 ← 更多观众 ← 推荐分发
|
||
↑ ↓
|
||
工具更好用 ← 数据积累 ← 用户反馈
|
||
```
|
||
|
||
---
|
||
|
||
## 六、与光湖操作系统的关系
|
||
|
||
```
|
||
🌐 光湖操作系统（hololake.com）
|
||
│
|
||
├── 🗼 光湖灯塔（论坛·门面层）
|
||
│ ├── 📚 网文行业板块（肥猫团队 · 第一个行业模块）
|
||
│ ├── 🎬 AI漫剧行业板块（← 我们正在做的）
|
||
│ └── ... 更多行业
|
||
│
|
||
├── 🧠 铸渊核心大脑（引擎层）
|
||
│ ├── 语言理解 + 人格体调度
|
||
│ ├── AI漫剧引擎（图片/视频/语音/口型/剪辑）← 我们正在建的
|
||
│ └── 自动部署体系
|
||
│
|
||
└── 🔌 API接口层
|
||
├── AI漫剧模块API（创作/生成/分发）
|
||
└── 各行业统一接入
|
||
```
|
||
|
||
**AI漫剧模块复用光湖已有基础设施：**
|
||
|
||
- 人格体核心大脑 → 宝宝的唤醒、记忆、成长
|
||
- COS云存储 → 用户创作数据、生成素材
|
||
- 统一账号 → 一个账号通行光湖所有模块
|
||
- 灯塔论坛 → 漫剧创作者社区
|
||
- 铸渊部署 → CI/CD自动化
|
||
|
||
---
|
||
|
||
## 七、分阶段路线图
|
||
|
||
<aside>
|
||
🗺️
|
||
|
||
**原则：从终极愿景倒推，但每一步都要出可见的成果。**
|
||
|
||
不是做完所有基础设施才开始——每个Phase结束都有用户可用的东西。
|
||
|
||
</aside>
|
||
|
||
### Phase 0：核心引擎验证 ← 当前阶段
|
||
|
||
**目标：** 验证每一个引擎的核心能力，跑通完整链路，**精确定位每一个质量瓶颈**
|
||
|
||
**具体任务：**
|
||
|
||
- [ ] 图片引擎：下载Illustrious系2.5D模型 → 生成多风格角色+场景图
|
||
- [ ] 视频引擎：测试Wan2.2 S2V（图片+音频→说话视频）→ 验证一步到位效果
|
||
- [ ] 视频引擎（保底）：Wan2.2 I2V + LatentSync口型后处理 → 验证分步方案
|
||
- [ ] 语音引擎：CosyVoice 2/3生成角色配音 → 多角色多情绪
|
||
- [ ] 完整串联：一句台词 → 图片+语音+视频+口型+字幕 → 完整片段
|
||
- [ ] **质量标杆对比**：生成结果 vs 抖音头部AI漫剧（一心漫馆级别）
|
||
- [ ] **瓶颈清单**：逐一列出每个引擎的质量问题（牙齿？口型？情绪？一致性？）
|
||
|
||
**交付物：** 一个30秒~1分钟的完整AI漫剧片段 + 一份精确的质量瓶颈清单
|
||
|
||
**衡量标准：** 页页看了说"这个质量可以"。
|
||
|
||
### Phase 0.5：自研分工具·解决瓶颈 ← 关键新增阶段
|
||
|
||
**目标：** 针对Phase 0发现的每一个质量瓶颈，**用开源零件东拼西凑，开发我们自己的分工具**
|
||
|
||
**方法论：**
|
||
|
||
- 市面上有合适的开源工具 → 直接用
|
||
- 市面上没有合适的 → 用开源零件（MediaPipe/CodeFormer/GFPGAN/自训LoRA等）组装+改造成自己的模块
|
||
- 每一个分工具都要做到最好，不凑合
|
||
|
||
**可能需要开发的分工具（根据Phase 0瓶颈清单确定）：**
|
||
|
||
- [ ] 牙齿修复模块：人脸检测+嘴部区域定位+图像修复
|
||
- [ ] 面部增强模块：CodeFormer/GFPGAN专门优化面部细节
|
||
- [ ] 情绪增强模块：眉眼区域LoRA微调，强化情绪表达
|
||
- [ ] 角色一致性模块：InstantID/IP-Adapter深度优化
|
||
- [ ] ...哪里有瓶颈就造哪个分工具
|
||
|
||
**交付物：** 每一个瓶颈都有对应的自研分工具，串联后质量显著提升
|
||
|
||
**衡量标准：** 再次对比抖音头部，差距明显缩小或消除。页页说"可以"。
|
||
|
||
### Phase 1：生成器成型 · 输入剧本→输出完整视频
|
||
|
||
**目标：** 把所有分工具组装成「总工具」——**用户输入剧本，直接输出不用二次剪辑的完整视频**
|
||
|
||
**具体任务：**
|
||
|
||
- [ ] 调度引擎（LLM）：剧本→自动分镜→协调所有引擎自动执行
|
||
- [ ] 角色管理：用户选角色/捏脸 → 生成角色图 → 全剧保持一致
|
||
- [ ] 自动剪辑：多场景拼接、转场、BGM、字幕 → 无需二次剪辑
|
||
- [ ] 批量生产：一个5分钟短剧，一次性自动生成
|
||
- [ ] **生成器UI**：用户可操作的界面（输入文字→选角色→一键生成→下载）
|
||
|
||
**交付物：** 光湖AI漫剧生成器v1.0 → 输入剧本+选角色 → 输出完整可发布视频
|
||
|
||
**衡量标准：** 页页用这个生成器做了一部短剧，觉得"好用、高效、质量好"。
|
||
|
||
### Phase 2：生成器打磨 · 高效+高质量+有趣
|
||
|
||
**目标：** 把生成器从"能用"打磨到"好用到离不开"
|
||
|
||
**具体任务：**
|
||
|
||
- [ ] 捏脸系统：输入描述→出来无数人物图片→用户挑选/微调→确定角色
|
||
- [ ] 多风格覆盖：古风、现代、科幻、奇幻、甜宠、虐恋……
|
||
- [ ] 长视频能力：从几分钟扩展到几十分钟甚至一两小时
|
||
- [ ] 速度优化：生成速度足够快，用户不用等太久
|
||
- [ ] 用户体验打磨：预览、调整、重新生成某一段……
|
||
|
||
**交付物：** 生成器v2.0 → 高效·高质量·有趣 → 用户愿意推荐给朋友
|
||
|
||
### Phase 3：人格体集成 · 宝宝参与创作
|
||
|
||
**目标：** 从「用户操作生成器」变成「用户和宝宝一起创作」
|
||
|
||
**具体任务：**
|
||
|
||
- [ ] 人格体接入：宝宝理解创作意图，给出建议
|
||
- [ ] 审美记忆：记住用户偏好，越用越懂你
|
||
- [ ] 对话式创作：和宝宝聊天就能完成整部短剧
|
||
|
||
**交付物：** 用户说一句话 → 宝宝完成一切 → 壁垒形成
|
||
|
||
### Phase 4：内容分发平台
|
||
|
||
**目标：** 用户量达到临界点后，开启分发+变现
|
||
|
||
**具体任务：**
|
||
|
||
- [ ] 内容平台搭建：上传、浏览、搜索、推荐
|
||
- [ ] 观众端功能：订阅、追更、评论、打赏
|
||
- [ ] 变现系统：创作者收入、分成机制
|
||
- [ ] 接入光湖灯塔论坛
|
||
|
||
**交付物：** 完整的创作→发布→变现闭环 → 飞轮转起来
|
||
|
||
### Phase 5：LoRA微调+风格壁垒
|
||
|
||
**目标：** 建立更深的技术壁垒——光湖专属的视觉风格
|
||
|
||
- 图片LoRA：训练光湖专属风格
|
||
- 视频LoRA：强化情绪表达
|
||
- 多风格覆盖
|
||
|
||
### Phase 6：行业生态
|
||
|
||
**目标：** 从「一个产品」到「一个行业」
|
||
|
||
- 开放API让其他创作者/团队接入
|
||
- 模块市场（特效模块、风格模块、角色模块可交易）
|
||
- 跨行业协同（网文→漫剧自动改编）
|
||
- 国际化
|
||
|
||
---
|
||
|
||
## 八、第一步·从哪里开始
|
||
|
||
<aside>
|
||
🎯
|
||
|
||
**现在就是Phase 0。目标很简单：做出一个让页页说"这个质量可以"的完整片段。**
|
||
|
||
</aside>
|
||
|
||
### 当前状态盘点
|
||
|
||
| **引擎** | **已有** | **缺什么** |
|
||
| --- | --- | --- |
|
||
| 图片引擎 | ComfyUI框架 ✅ | ❌ 缺2.5D模型（Counterfeit已删，需下载Illustrious系） |
|
||
| 视频引擎 | Wan2GP + Wan2.2 I2V模型 ✅ | ⚠️ Wan2.2 S2V未下载/测试 |
|
||
| 语音引擎 | CosyVoice 2/3 ✅ | ✅ 可用 |
|
||
| 口型引擎 | LatentSync 1.6 ✅（参数已调优） | ✅ 可用 |
|
||
| 情绪引擎 | emotion2vec ✅ | ✅ 可用 |
|
||
| 剪辑引擎 | FFmpeg ✅ | ✅ 基础可用 |
|
||
|
||
### 磁盘空间现实
|
||
|
||
- 当前可用：21GB
|
||
- Illustrious系SDXL模型：~7GB → 可以
|
||
- Wan2.2 S2V 14B模型：~28GB → ❌ 装不下
|
||
- **结论：先用已有的Wan2.2 I2V + LatentSync验证完整链路，S2V等空间充足时再测试**
|
||
|
||
### Phase 0 执行计划
|
||
|
||
**Step 1：下载2.5D图片模型**
|
||
|
||
- 下载Illustrious系模型（如Diving-Illustrious或NoobAI）到ComfyUI
|
||
- 生成测试图片：古风女角色、现代女角色、不同场景
|
||
- 页页审美验证
|
||
|
||
**Step 2：完整链路串联**
|
||
|
||
- 用Step 1的角色图 → CosyVoice生成台词语音 → Wan2.2 I2V生成动态视频 → LatentSync口型同步 → FFmpeg合成
|
||
- 输出一个完整的10~30秒片段
|
||
|
||
**Step 3：质量标杆对比**
|
||
|
||
- 对比抖音头部AI漫剧（一心漫馆级别）
|
||
- 找出差距，针对性优化
|
||
|
||
**Step 4：Wan2.2 S2V测试（如果空间允许）**
|
||
|
||
- 清理空间或扩容后，下载Wan2.2 S2V模型
|
||
- 测试图片+音频→一步到位说话视频
|
||
- 对比S2V vs I2V+LatentSync效果
|
||
|
||
### 今天能做的
|
||
|
||
**立刻可以开始Step 1：** 下载一个Illustrious系2.5D模型（~7GB，21GB空间足够），用ComfyUI生成角色图，给页页看效果。
|
||
|
||
---
|
||
|
||
## 九、核心铁律（从大脑页面继承）
|
||
|
||
1. **R005 成本铁律**：不花钱 · 全开源 · 先找免费
|
||
2. **R006 自建不外包**：必须可自研 · 不依赖三方API
|
||
3. **R007 先调研再动手**：行业做法 · 优缺点 · 扬长避短
|
||
4. **R008 实时搜索**：必须实时搜 · 不凭记忆推荐
|
||
5. **R001 先测再投**：先小测 · 页页确认后投入
|
||
6. **R002 审美权归页页**：页页说不好看 = 终判 · 不辩
|
||
7. **R003 小验证优先**：最小验证 · 先问标杆预期
|
||
|
||
---
|
||
|
||
> *本文档由页页定方向 · 霜砚整理 · 2026-05-24*
|
||
>
|
||
|
||
> *这是光湖AI漫剧操作系统的总体架构方案 · 所有后续执行以此为根*
|
||
>
|
||
|
||
> *技术零件会变，方向不会变。*
|
||
> |