485 lines
7.5 KiB
Plaintext
485 lines
7.5 KiB
Plaintext
|
# D144 · 腾讯AI人格体开发交接清单
|
|||
|
|
|
|||
|
|
> HLDP://video-ai-system/plans/D144-TENCENT-AI-DEV-HANDOFF
|
|||
|
|
> 类型: 开发交接 · 腾讯AI人格体可执行清单
|
|||
|
|
> 日期: 2026-06-24
|
|||
|
|
> 铸渊 ICE-GL-ZY001
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 当前判断
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
用户反馈:
|
|||
|
|
当前火山/Seedance生成画质少有地接近标准，但主角苏白太普通，像路人甲。
|
|||
|
|
Seedance 2.0 Mini API暂未可用，预计七月后再接。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
结论:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
第一阶段不换画面主模型。
|
|||
|
|
短期重点不是继续抽模型，而是把“主角资产”和“后期工具链”做起来。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 一、苏白像路人甲 · 解决方向
|
|||
|
|
|
|||
|
|
这不是单一提示词问题，而是角色资产没有“主角识别度”。
|
|||
|
|
|
|||
|
|
不改剧本内容，但可以补齐视觉设计:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
脸: 少年主角脸要有明确轮廓、眼神、眉形、笑容记忆点
|
|||
|
|
发型: 一眼能认出的发束/发冠/束带，不每镜变化
|
|||
|
|
服装: 白衣基础不变，但加入主角专属边纹、腰封、袖口层次
|
|||
|
|
色彩: 白+浅金/玉色/墨色形成稳定主角色板
|
|||
|
|
姿态: 双手叉腰、自信招徒的招牌姿势
|
|||
|
|
表情: 自信笑、喊话张嘴、被嘲后轻微尴尬/不服输
|
|||
|
|
反例: 大众白衣路人、普通仙门弟子脸、无特色长发男
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
注意:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
这些属于美术设定，不属于剧情改写。
|
|||
|
|
不能给苏白新增剧情道具、能力、身份信息。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 二、优先开发工具 · P0
|
|||
|
|
|
|||
|
|
### 1. CHAR-HERO-DESIGN-PACKER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
把苏白从候选图升级为“主角资产包”。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/char-hero-design-packer.py
|
|||
|
|
video-ai-system/assets/characters/CHAR-003-SuBai/approved/
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输入:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
角色manifest
|
|||
|
|
候选参考图
|
|||
|
|
主角视觉要求
|
|||
|
|
负面反例
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
approved/front_half_body.png
|
|||
|
|
approved/full_body_costume.png
|
|||
|
|
approved/side_face.png
|
|||
|
|
approved/expression_sheet.png
|
|||
|
|
approved/pose_sheet.png
|
|||
|
|
visual-bible.hdlp
|
|||
|
|
negative-examples.hdlp
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
验收:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
同一眼睛/眉形/发型/服装色板
|
|||
|
|
一眼能区分“苏白”和普通路人弟子
|
|||
|
|
能直接作为视频参考图输入
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 2. CHARACTER-DISTINCTIVENESS-QC
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
专门检测“主角是否像路人甲”。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/qc-character-distinctiveness.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出报告:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
face_identity_score
|
|||
|
|
silhouette_score
|
|||
|
|
costume_signature_score
|
|||
|
|
palette_consistency_score
|
|||
|
|
protagonist_presence_score
|
|||
|
|
fail_reasons
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
最小实现:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
生成 contact sheet + 人工评分表。
|
|||
|
|
先不追求全自动视觉识别，先把评分维度固化。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 3. MULTI-REFERENCE-VIDEO-ADAPTER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
当前 video-api-adapter.js 实际只支持单张 referenceImage。
|
|||
|
|
需要支持多参考图: 角色、牌匾、场景、姿势。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/engines/video-api-adapter.js
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
新增能力:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
referenceImages: string[]
|
|||
|
|
referenceVideos: string[]
|
|||
|
|
referenceAudios: string[]
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
验收:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
能同时输入苏白人设图 + 牌匾图 + 场景布局图。
|
|||
|
|
如果模型/接口不支持多图，必须明确降级，不得静默忽略。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 4. SUBTITLE-PRODUCTION-PACK
|
|||
|
|
|
|||
|
|
现状:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
subtitle-renderer.py 已可 SRT→PNG→FFmpeg overlay 合成。
|
|||
|
|
但它只是工程测试工具，不是最终商用字幕工具。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
还需补:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
完整开发规格见:
|
|||
|
|
video-ai-system/plans/D144-SUBTITLE-PRODUCTION-TOOLCHAIN.hdlp
|
|||
|
|
|
|||
|
|
必须开发:
|
|||
|
|
reference-subtitle-analyzer.py
|
|||
|
|
subtitle-style.reference-drama.json
|
|||
|
|
ass-subtitle-renderer.py
|
|||
|
|
subtitle-font-manager.py
|
|||
|
|
subtitle-safe-area-qc.py
|
|||
|
|
subtitle-preview-contact-sheet.py
|
|||
|
|
subtitle-style-ab-test.py
|
|||
|
|
script-to-srt-with-timing.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
验收:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
对标用户提供样片字幕标准。
|
|||
|
|
不是“接近”，而是按样片规范复刻。
|
|||
|
|
字体固定、黑描边稳定、字号/位置按比例计算。
|
|||
|
|
不遮挡主体，不发灰，不跳戏。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 5. AUDIO-MIXER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
配音 + BGM + SFX + 原视频音轨混成最终音频。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/engines/audio-mixer.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
必须支持:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
voice track
|
|||
|
|
bgm track
|
|||
|
|
sfx track
|
|||
|
|
ducking: 角色说话时BGM自动降低
|
|||
|
|
loudness normalize
|
|||
|
|
timeline offsets
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
验收:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
输出mp4/wav。
|
|||
|
|
对白清楚。
|
|||
|
|
BGM不盖台词。
|
|||
|
|
音量峰值不过载。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 6. VOICE-EMOTION-COMPILER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
把“苏白·大声·自信”翻译成TTS参数。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/voice-emotion-compiler.py
|
|||
|
|
video-ai-system/config/voice-emotion-map.json
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输入:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
character
|
|||
|
|
line
|
|||
|
|
emotion
|
|||
|
|
target_duration
|
|||
|
|
engine: edge-tts | doubao-tts
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
输出:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
audio file
|
|||
|
|
duration report
|
|||
|
|
tts params report
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
验收:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
同一句台词可生成3版情绪强度。
|
|||
|
|
可对比Edge-TTS和豆包语音。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 7. LIPSYNC-ADAPTER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
角色说台词必须嘴型同步，不再靠旁白或模型自带不可验证音轨。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/engines/lipsync-adapter.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路线:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Route A: 火山视频改口型API
|
|||
|
|
Route B: 本地Wav2Lip
|
|||
|
|
Route C: 其他商用口型服务
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
验收:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
输入: 苏白说话底片 + 原文对白音频
|
|||
|
|
输出: 嘴型同步视频
|
|||
|
|
报告: 是否糊脸/变形/不同步
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 8. SHOT-QC-AUTOMATION
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
每个镜头生成后自动拆帧质检，不靠记忆判断。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/qc-shot.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
必须输出:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
contact_sheet.jpg
|
|||
|
|
probe.json
|
|||
|
|
qc-report.hdlp
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
检查项:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
竖屏/横屏
|
|||
|
|
时长
|
|||
|
|
字幕是否可读
|
|||
|
|
角色是否换脸
|
|||
|
|
牌匾文字是否可读
|
|||
|
|
道具是否遮脸
|
|||
|
|
是否有现代物品
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 9. EP01-SHOT03-PRODUCTION-CLI
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
把当前最关键的E1-SHOT03做成一键生产命令。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/run-ep01-shot03-production.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
步骤:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
1. 读取原文台词。
|
|||
|
|
2. 读取苏白批准资产。
|
|||
|
|
3. 生成预留牌匾空间的苏白底片。
|
|||
|
|
4. 合成固定牌匾。
|
|||
|
|
5. 生成角色对白。
|
|||
|
|
6. 执行口型同步。
|
|||
|
|
7. 烧字幕。
|
|||
|
|
8. 混音。
|
|||
|
|
9. 输出QC报告。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 三、P1工具
|
|||
|
|
|
|||
|
|
### 10. MODEL-AVAILABILITY-CHECKER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
Mini/API开放状态不要靠人记。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/check-model-availability.js
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
检查:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
当前JIMENG_MODEL是否可用
|
|||
|
|
Seedance 2.0 Mini是否可用
|
|||
|
|
模型价格/限制记录
|
|||
|
|
失败时给出降级路线
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 11. COST-LEDGER
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
每次调用模型记录成本，不再白花钱。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/tools/cost-ledger.js
|
|||
|
|
video-ai-system/outputs/cost-ledger.json
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
记录:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
task_id
|
|||
|
|
model
|
|||
|
|
duration
|
|||
|
|
resolution
|
|||
|
|
estimated_cost
|
|||
|
|
status
|
|||
|
|
approved_or_rejected
|
|||
|
|
reject_reason
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
### 12. BGM-ASSET-LIBRARY
|
|||
|
|
|
|||
|
|
目标:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
第一阶段先不急着开发重型音乐生成，先建立可控BGM素材库。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
路径建议:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
video-ai-system/assets/audio/bgm/
|
|||
|
|
video-ai-system/tools/select-bgm.py
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
能力:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
mood标签
|
|||
|
|
loop点
|
|||
|
|
长度裁切
|
|||
|
|
音量建议
|
|||
|
|
版权/来源记录
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 四、当前不建议优先做
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
不建议继续大量抽Seedance同场牌匾镜头。
|
|||
|
|
不建议先做复杂自动导演Agent。
|
|||
|
|
不建议先接重型BGM生成模型。
|
|||
|
|
不建议把Edge-TTS直接标成最终商用声线。
|
|||
|
|
不建议等Mini开放再推进EP01。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
原因:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
第一关仍是E1-SHOT03: 主角识别度 + 牌匾稳定 + 角色说台词 + 字幕。
|
|||
|
|
这关通了，再扩展全片。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 五、给腾讯AI人格体的第一批任务顺序
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
1. 开发 CHAR-HERO-DESIGN-PACKER。
|
|||
|
|
2. 开发 CHARACTER-DISTINCTIVENESS-QC。
|
|||
|
|
3. 开发 AUDIO-MIXER。
|
|||
|
|
4. 开发 VOICE-EMOTION-COMPILER。
|
|||
|
|
5. 开发 LIPSYNC-ADAPTER。
|
|||
|
|
6. 开发 EP01-SHOT03-PRODUCTION-CLI。
|
|||
|
|
7. 开发 COST-LEDGER。
|
|||
|
|
8. 开发 MODEL-AVAILABILITY-CHECKER。
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
每完成一个工具，必须附:
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
README
|
|||
|
|
命令示例
|
|||
|
|
测试输入
|
|||
|
|
测试输出
|
|||
|
|
失败边界
|
|||
|
|
是否已推送仓库
|
|||
|
|
```
|