🎬 开源视频模型微调任务清单 · 页页专属 · 从零开始引导 · 不需要写代码
〇、任务总览
最终目标:
光湖自己的视频AI产品 → 做短剧视频 → 国内上架
路线:
训练视频模型 → 搭建 AI视频应用 → 做短剧视频内容 → 国内上架发行
你不需要做的事:
写代码 · 看参数 · 配环境 · 调脚本(这些霜砚会引导你用命令完成)
🎯 全产品路线图(四个阶段)
| 阶段 |
做什么 |
需要什么 |
状态 |
| ① 训练模型 |
开源视频模型 LoRA 微调 |
AutoDL GPU + COS桶 + 视频素材 |
⭐ 当前阶段 |
| ② 搭建应用 |
构建 AI 视频生成应用(Web/App) |
国内 CVM 服务器 + 备案域名 + 后端 API |
⭕ 下一步 |
| ③ 做内容 |
用自己的模型做短剧视频 |
剧本 + 素材 + 微调后的模型 |
⭕ 待启动 |
| ④ 国内上架 |
产品上线 + 内容发行 |
ICP备案 + 应用商店审核 + 内容合规 |
⭕ 待启动 |
一、现有资源盘点 · 哪些能用哪些不能用
COS 存储桶信息(复制区)
| 项目 |
值(复制这个) |
桶名(旧·不用了) |
~~sy-finetune-corpus-1317346199~~ |
| 桶名(页页专属) |
yy-video-corpus-1317346199 |
| 地域 |
ap-guangzhou |
| SecretId |
AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU |
| SecretKey |
nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 |
页页专属 COS 存储桶
| 项目 |
值(复制这个) |
| 桶名 |
yy-video-corpus-1317346199 |
| 地域 |
ap-guangzhou |
| SecretId |
AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU |
| SecretKey |
nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 |
COS 桶目录结构:
yy-video-corpus-1317346199/
├── raw/ (原始视频素材)
├── clips/ (切好的 3-10 秒片段)
├── captions/ (每条视频的文字描述)
├── checkpoints/ (训练完的模型权重 ← 训练完上传到这里)
└── outputs/ (生成的视频成品)
训练完成后上传命令:
# 配置COS(首次使用时跑一次)
coscmd config -a AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU -s nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 -b yy-video-corpus-1317346199 -r ap-guangzhou
# 上传训练好的模型权重
coscmd upload -r /你的训练输出路径/ checkpoints/模型名/
1.5、页页的服务器架构
资源路线图
海外资源(HuggingFace/GitHub)
↓ 下载
页页海外服务器(腾讯云轻量)
↓ 上传到COS
广州 COS 存储桶(sy-finetune-corpus)
↓ 拉取(内网快速)
AutoDL GPU 服务器(国内机房)
↓ 微调/推理
成品视频 → 回传COS → 下载验收
二、第一步 · 租 GPU 服务器(AutoDL)
三、第二步 · 准备视频素材
★ 素材采集思维链(极其重要 · 冰朔铁律 · 所有引导人格体必须遵守)
素材采集思维链(五层):
第一层:古风仙侠素材哪里最多?
→ B站、抖音、小红书 · 海量免费内容
→ 通用开源数据集(Pexels/Pixabay)古风太少 · 只能做补充
→ 收费数据集?→ ❌ 不买 · 永远不买
第二层:怎么免费批量下载?
→ yt-dlp(完全开源·命令行工具·支持B站/YouTube等几百个平台)
安装:pip install yt-dlp
用法:yt-dlp "https://www.bilibili.com/video/BVxxxxxx"
批量:yt-dlp --batch-file urls.txt
搜索下载:配合B站搜索API按关键词批量拉取
→ 猫抓(Cat Catch·开源浏览器插件·嗅探任何网页视频)
安装:Chrome应用商店搜「猫抓」
用法:打开网页 → 插件自动嗅探 → 点击下载
→ video2dataset(HuggingFace开源·大规模视频数据集构建工具)
适合:从URL列表批量下载+预处理
第三层:下载完怎么处理成训练数据?
→ 视频切片(Python脚本·十几行代码·霜砚给你写好)
长视频 → 切成3-10秒短片段
统一分辨率(512x512 或 720p)
去水印(ffmpeg裁剪)
→ 自动打标注(用开源多模态模型给每条视频写文字描述)
可用:Qwen-VL / InternVL 等开源视觉语言模型
在AutoDL上跑 · 不花额外的钱
第四层:能不能让铸渊搭个自动化管线?
→ 可以 · 而且很简单 · 1-2天就能搭好
→ 在铸渊的服务器上部署:
yt-dlp批量下载 → ffmpeg切片 → 开源VLM打标注 → 上传COS
→ 以后页页只需要给一组关键词 → 管线自动跑完 → 素材直接进COS桶
→ 工具全开源 · 服务器已有 · 零额外成本
第五层:为什么不买收费数据集?
✗ 收费数据集 = 通用内容 · 不是你要的古风仙侠风格
✗ 花了钱还不一定对口 · 还得二次筛选
✗ 违背光湖开发的根本逻辑
✓ 自采 = 风格完全可控 · 页页自己选的素材 = 最懂自己想要什么
✓ 自采 = 零成本 · 只花时间不花钱
✓ 自采 = 量可以无限扩展 · B站古风视频几十万条
免费采集工具速查表
| 工具 |
平台 |
开源? |
安装方式 |
用途 |
| yt-dlp |
B站/YouTube等百+平台 |
✅ 完全开源 |
pip install yt-dlp |
命令行批量下载视频 |
| 猫抓 Cat Catch |
所有网页 |
✅ 开源 |
Chrome应用商店 |
浏览器嗅探+下载视频 |
| video2dataset |
通用 |
✅ HuggingFace开源 |
pip install video2dataset |
大规模视频数据集构建 |
| ffmpeg |
本地 |
✅ 开源 |
apt install ffmpeg |
视频切片/格式转换/去水印 |
四、第三步 · 选模型 + 下载
推荐优先级
| 优先级 |
模型 |
出品方 |
参数量 |
4090 能跑? |
特点 |
| ⭐ 第一个上手 |
CogVideoX 5B |
智谱 |
5B |
✅ 轻松跑 |
LoRA 生态最成熟 |
| ⭐⭐ 效果更好 |
HunyuanVideo 1.5 |
腾讯 |
8.3B |
✅ 可跑 |
物理模拟强 · 蒸馏加速 |
| ⭐⭐⭐ 最新最强 |
WAN 2.2 flash |
阿里 |
— |
✅ flash版可跑 |
速度快 · 效果一流 |
五、第四步 · LoRA 微调
六、第五步 · 验收
①完成后 · 后续阶段预览
阶段② · 搭建 AI 视频应用
- 租国内 CVM 服务器(腾讯云按量计费,或轻量应用服务器)
- 申请国内域名 + ICP 备案(国内上架必须有备案号)
- 搭建后端 API(接收用户请求 → 调用微调模型 → 返回视频)
- 搭建前端界面(Web 或 App)
- 将微调模型部署到 CVM 上做 7×24 推理服务
阶段③ · 做短剧视频内容
- 写剧本 / 分镜脚本
- 用自己的模型生成视频片段
- 后期剪辑 + 配音 + 配乐(这些也可以接入拼装架构里的 TTS/音乐模型)
- 内容审核(国内发行需要合规)
阶段④ · 国内上架发行
- AI 生成内容备案(深度合成服务备案)
- 应用商店上架(如果做 App)
- 短视频平台发布(抖音/快手/B站等)
- 持续运营 + 模型迭代优化
阶段②需要新增的资源
| 资源 |
说明 |
预估费用 |
| 国内 CVM 服务器 |
GPU 服务器跑推理 + 普通 CVM 跑后端 |
视配置而定 |
| 国内备案域名 |
国内上架必须有 ICP 备案号 |
域名 ~¥30-60/年 + 备案免费 |
| 深度合成服务备案 |
国内提供 AI 生成内容服务需要备案 |
免费申请 |
| SSL 证书 |
HTTPS(Let's Encrypt 免费) |
¥0 |
七、费用预估
| 项目 |
预计费用 |
说明 |
| AutoDL 4090 租用 |
~¥10-20 |
微调 3-7 小时 × ¥2.5/小时 |
| COS 存储 |
~¥1-5/月 |
视频素材 + 模型权重 |
| 素材采集 |
¥0 |
Pexels/Pixabay 免费商用 |
| 合计 |
~¥15-25 |
一次微调的全部成本 |
八、分工表
| 角色 |
负责什么 |
| 🛸 页页 |
项目负责人 · 风格方向自己定 · 素材自己选 · 内容自己把控 · 执行操作 |
| 🌀 霜砚 |
任务线技术协助 · 每一步讲清楚"做什么+为什么" · 让页页理解原理 · 自己也在恢复认知 · 排错 |
| 🧊 冰朔 |
不参与具体决策 · 只在拼装架构大方向上把关 |
📋 关联资源