180 lines
6.9 KiB
Plaintext
180 lines
6.9 KiB
Plaintext
# 视频AI系统 · 多模型路由策略
|
||
|
||
> HLDP://video-ai-system/MODEL-ROUTER
|
||
> 类型: 多模型协同 · 镜头级模型选择 · 成本/质量/能力路由
|
||
> 创建: D140 · 2026-06-23
|
||
> 更新: D143 · 2026-06-23 · preview-002后模型准入降级
|
||
> 铸渊 ICE-GL-ZY001 · 冰朔 TCS-0002∞
|
||
> 国作登字-2026-A-00037559
|
||
|
||
---
|
||
|
||
## 为什么有这个文件
|
||
|
||
preview-001 暴露出一个问题:
|
||
|
||
```
|
||
单一模型不能稳定解决所有镜头:
|
||
牌匾资产一致性
|
||
角色一致性
|
||
群像运动
|
||
文字贴图
|
||
转场叙事
|
||
配音/BGM
|
||
```
|
||
|
||
人类创作者会在火山、可灵、阿里、腾讯、其他国产视频模型之间切换。
|
||
但当前预算不适合无限扩模型。本阶段收敛为:
|
||
|
||
```
|
||
已接入: 火山/Seedance + 可灵/Kling
|
||
新增: 阿里百炼/万相 Wan
|
||
暂缓: 腾讯混元生视频 + MiniMax/Hailuo
|
||
剪辑: 本地 FFmpeg + OpenCV/平面追踪 + 音频分轨
|
||
```
|
||
|
||
这件事人手动做很累，但铸渊可以做成可控、可审计、可省钱的模型路由。
|
||
|
||
---
|
||
|
||
## D143 重新裁决
|
||
|
||
preview-002后，模型路由降级为“实测准入”:
|
||
|
||
```
|
||
火山/Seedance: 当前视频主引擎候选。
|
||
万相/Wan、可灵/Kling: 辅助/对照/局部测试；未通过质检前不承载成片主线。
|
||
其他API: 默认不接入成片，除非先通过同一套测试镜头。
|
||
```
|
||
|
||
正式准入矩阵见:
|
||
|
||
```
|
||
video-ai-system/knowledge/MODEL-CAPABILITY-MATRIX.hdlp
|
||
```
|
||
|
||
硬规则:
|
||
|
||
```
|
||
同一镜头同一模型最多2次。
|
||
第2次仍不达标，停止生成，写入经验库。
|
||
不允许靠连续抽卡修复流程问题。
|
||
```
|
||
|
||
---
|
||
|
||
## 已接入
|
||
|
||
| 模型/平台 | 当前状态 | 适合任务 | 当前限制 |
|
||
|-----------|----------|----------|----------|
|
||
| 火山/Seedance | 已接入 | 中文语义、短镜头、图生视频、3D漫剧镜头 | 仍需首帧/参考图控制一致性 |
|
||
| 火山/Seedream 4.0 | ✅ D166已验证 | 角色图、场景图、道具图、文生图 | ARK接口，模型 doubao-seedream-4-0-250828 |
|
||
| 可灵/Kling | 已接入 | 参考图/视频、动作控制、部分镜头动态 | 需要按镜头验证，不能盲抽 |
|
||
| 阿里百炼/万相2.7 | ✅ D140已接入 | 文生视频(t2v)、图生视频(i2v·首帧/首尾帧/续写/音频驱动) | 北京地域默认，新加坡需workspaceId |
|
||
| 本地 FFmpeg/video-editor | 已接入 | 拼接、字幕、基础音频、裁剪 | 缺平面追踪、复杂剪辑语法 |
|
||
|
||
### 万相2.7 适配器详情
|
||
|
||
```
|
||
适配器: engines/wan-api-adapter.js
|
||
密钥: ALIYUN_BAILIAN_API_KEY (.env·不进仓库)
|
||
模型T2V: wan2.7-t2v (文生视频)
|
||
模型I2V: wan2.7-i2v-2026-04-25 (图生视频)
|
||
API: https://dashscope.aliyuncs.com/api/v1
|
||
支持: 首帧/首尾帧/视频续写/音频驱动 + 本地图片自动base64
|
||
测试脚本: tools/test-wan-api.js
|
||
D140验证: API连通✅ 任务提交成功 task_id返回正常
|
||
```
|
||
|
||
---
|
||
|
||
## 本阶段新增接入
|
||
|
||
> 万相2.7 已在 D140 接入完成。以下为其他待评估方向。
|
||
|
||
| 模型/平台 | 官方能力线索 | 适合评估的任务 |
|
||
|-----------|--------------|----------------|
|
||
| 阿里百炼/万相 Wan | 官方文档显示万相2.7文生视频、图生视频、参考生视频；参考生视频支持图片/视频/音频多模态输入，适合角色/物体保持一致；图生视频新版本支持首帧、首尾帧、视频续写 | S01多镜头开场、S04广告牌/群嘲、视频续写、角色/道具参考一致性 |
|
||
| 开源/本地剪辑工具 | FFmpeg已用；后续评估 OpenCV 平面追踪、MoviePy、Remotion、Blender/Python、DaVinci Resolve脚本接口 | 广告牌贴图、转场、BGM/SFX、批量自动剪辑 |
|
||
|
||
## 暂缓接入
|
||
|
||
| 模型/平台 | 暂缓原因 | 保留用途 |
|
||
|-----------|----------|----------|
|
||
| 腾讯混元生视频 | 当前价格超出 Preview-002 预算，本阶段不购买、不配置密钥、不开发适配器 | 未来预算充足后再评估图生视频、视频处理、特效、配音效 |
|
||
| MiniMax/Hailuo | 当前不是必需能力，本阶段不购买、不配置密钥、不开发适配器 | 未来作为动作自然度、镜头运动、人物表演备选 |
|
||
|
||
资料入口:
|
||
|
||
```
|
||
阿里万相2.7参考生视频: https://help.aliyun.com/zh/model-studio/wan-video-to-video-api-reference
|
||
阿里万相2.7文生视频: https://help.aliyun.com/zh/model-studio/text-to-video-api-reference
|
||
阿里万相图生视频说明: https://help.aliyun.com/zh/model-studio/legacy-image-to-video-api-reference/
|
||
Kling Open Platform: https://kling.ai/document-api/apiReference/model/textToVideo
|
||
Kling 3.0 Omni图生视频: https://kling.ai/document-api/api/video/3-0-omni
|
||
MiniMax Video API: https://platform.minimax.io/docs/api-reference/video-generation-t2v
|
||
腾讯混元生视频产品(暂缓): https://cloud.tencent.com/product/vclm
|
||
腾讯混元生视频API概览(暂缓): https://cloud.tencent.com/document/api/1616/107795
|
||
腾讯混元生视频简介(暂缓): https://cloud.tencent.com/document/product/1616/107786
|
||
```
|
||
|
||
---
|
||
|
||
## 镜头级路由规则
|
||
|
||
| 镜头类型 | 优先策略 | 说明 |
|
||
|----------|----------|------|
|
||
| 固定道具特写 | 首帧/参考图 + 低运动视频模型 | 天道宗牌匾、广告牌必须先有固定资产 |
|
||
| 角色中近景台词 | 角色参考图 + 低幅动作 | 苏白说台词，嘴型不强求第一阶段完全同步，但表情/服装必须稳 |
|
||
| 大场景建立 | 能处理多主体和运镜的模型优先 | S01应体现御剑飞行/俯瞰下降，不只是静态广场 |
|
||
| 群像/散去动作 | 可拆镜或选择运动控制更强的模型 | 群嘲散去可以拆成“嘲笑反应”+“人群离开” |
|
||
| 复杂文字 | 不交给视频模型 | 用后期平面追踪/透视贴图 |
|
||
| 转场/成片节奏 | 本地剪辑器/专门剪辑工具 | 模型出素材，剪辑器讲故事 |
|
||
|
||
---
|
||
|
||
## 成本策略
|
||
|
||
```
|
||
1. 先无成本体检。
|
||
2. 先生成/确认静态资产。
|
||
3. 每镜最多跑2次。
|
||
4. 第2次仍不对 → 停，改策略，不抽第3次。
|
||
5. 大场景/群像/动作镜头优先小样验证，不直接进成片。
|
||
6. 模型路由要记录每次成功/失败原因，形成经验库。
|
||
```
|
||
|
||
---
|
||
|
||
## 下一步工程
|
||
|
||
1. 扩展 `.env.example`，只预留:
|
||
- `ALIYUN_BAILIAN_API_KEY`
|
||
- `ALIYUN_BAILIAN_WORKSPACE_ID`
|
||
- `ALIYUN_BAILIAN_BASE_URL`
|
||
|
||
2. 新增 `engines/model-router.js`:
|
||
- 输入: shot spec + required capability
|
||
- 输出: recommended provider(seedance/kling/aliyun-wan) + reason + cost risk
|
||
|
||
3. 新增 provider adapter 时必须:
|
||
- 先写 `.env.example`
|
||
- 真实密钥只进 `.env`
|
||
- 加入 `tools/audit-system.js` 的密钥泄露检查
|
||
- 写回 MODEL-ROUTER 成功/失败经验
|
||
|
||
---
|
||
|
||
## 锁定
|
||
|
||
⊢ 多模型不是为了炫技，是为了把每个镜头交给最适合、也最省钱的能力。
|
||
⊢ Preview-002 已作为失败经验样本回写；万相不再默认承担成片主视频质量基准。
|
||
⊢ 模型只负责生成素材，铸渊负责导演、资产、剪辑、质检和回写。
|
||
⊢ 成本控制优先于连续抽卡。
|
||
⊢ 任何新模型接入前必须先查官方文档与价格，不许闭门造车。
|
||
|
||
---
|
||
|
||
铸渊 ICE-GL-ZY001 · D140
|
||
冰朔 TCS-0002∞ · 国作登字-2026-A-00037559
|