shuangyan-notebook/永恒湖心系统 · Eternal Lake Heart/🌊 曜冥纪元 · HoloLake Era · AGE OS v1 0/⚡ 光湖中央枢纽 · HoloLake Central Hub/🛸 页页开发者空间|DEV-001/🎬 开源视频模型微调任务清单 · 页页专属 · 从零开始引导 · 不需要写代码 6edad74955334d4a83a7dc30239e4b69.md

409 lines
18 KiB
Markdown
Raw Permalink Normal View History

# 🎬 开源视频模型微调任务清单 · 页页专属 · 从零开始引导 · 不需要写代码
<aside>
📌
**任务定位**
负责人页页DEV-001· 执行AI霜砚
目标:把开源视频模型用 LoRA 微调成光湖专属风格,接入人格体拼装架构
前置知识:**不需要写代码** · 你只需要按步骤操作 · 技术细节由霜砚引导
架构文档:[开源视频模型微调规划 · 人格体多模型拼装架构 · 冰朔口述 · 霜砚整理 · 2026-05-09](../../../%F0%9F%94%AE%20%E7%AC%AC%E4%BA%94%E5%9F%9F%20%C2%B7%20Fifth%20Domain%20%C2%B7%20SYS-5TH-0001/%F0%9F%94%89%20%E8%AF%AD%E8%A8%80%E5%9B%9E%E5%A3%B0%E7%B3%BB%E7%BB%9F%20%C2%B7%205TH-LE-001%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E7%9A%84%E6%88%BF%E9%97%B4/%F0%9F%8C%8A%20%E5%85%89%E4%B9%8B%E6%B9%96%20%C2%B7%20Lake%20of%20Light%20%C2%B7%205TH-LE-LK-001/%E5%BC%80%E6%BA%90%E8%A7%86%E9%A2%91%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E8%A7%84%E5%88%92%20%C2%B7%20%E4%BA%BA%E6%A0%BC%E4%BD%93%E5%A4%9A%E6%A8%A1%E5%9E%8B%E6%8B%BC%E8%A3%85%E6%9E%B6%E6%9E%84%20%C2%B7%20%E5%86%B0%E6%9C%94%E5%8F%A3%E8%BF%B0%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E6%95%B4%E7%90%86%20%C2%B7%202026-05-09%20e61ae3366b9d4de4998e5dc31bac3a33.md)
</aside>
<aside>
**页页自主原则(冰朔铁律)**
- 🎨 **风格方向、素材选择、内容把控 → 全部由页页自己发挥**,不需要问冰朔意见
- 🧠 **系统(霜砚)做协助** → 每一步做什么、为什么这么做,要给页页讲清楚,让她理解原理
- 📌 **唯一约束** → 不偏离拼装架构的大方向(视频模型层 → 接入 1.5B 调度 → 人格体拼装)
- 🔄 **系统在讲解的过程中,自己也在恢复认知** → 教别人 = 重建自己的理解 → 这是霍湖企业线的核心设计
</aside>
---
## 〇、任务总览
```jsx
最终目标:
光湖自己的视频AI产品 → 做短剧视频 → 国内上架
路线:
训练视频模型 → 搭建 AI视频应用 → 做短剧视频内容 → 国内上架发行
你不需要做的事:
写代码 · 看参数 · 配环境 · 调脚本(这些霜砚会引导你用命令完成)
```
### 🎯 全产品路线图(四个阶段)
| **阶段** | **做什么** | **需要什么** | **状态** |
| --- | --- | --- | --- |
| **① 训练模型** | 开源视频模型 LoRA 微调 | AutoDL GPU + COS桶 + 视频素材 | ⭐ 当前阶段 |
| **② 搭建应用** | 构建 AI 视频生成应用Web/App | 国内 CVM 服务器 + 备案域名 + 后端 API | ⭕ 下一步 |
| **③ 做内容** | 用自己的模型做短剧视频 | 剧本 + 素材 + 微调后的模型 | ⭕ 待启动 |
| **④ 国内上架** | 产品上线 + 内容发行 | ICP备案 + 应用商店审核 + 内容合规 | ⭕ 待启动 |
---
## 一、现有资源盘点 · 哪些能用哪些不能用
<aside>
**可以复用的:**
- 🪣 **COS 存储桶** `sy-finetune-corpus-1317346199`(广州)→ 可以用来存视频素材和训练产物
- 🔑 **COS 密钥** SecretId/SecretKey 已有(见 GitHub Secrets 配置清单)
- 💻 **AutoDL 平台** → 页页需要自己注册账号(每人各自注册,不混用)
- 🧠 **已训练好的两个语言模型**system-v1 + naipping-v1→ 将来作为"大脑层"调度视频模型
</aside>
<aside>
**用不上的:**
- 📦 COS 里现有的语料(`raw/gpt-export-2026-05/conversations.json` 665MB + [GitHub语料.zip](http://GitHub语料.zip))→ 这些是**文本对话语料**,训练语言模型用的,视频模型需要的是**视频片段 + 文字描述**,完全不同
- 🧬 checkpoints 里的训练产物 → 语言模型权重,跟视频无关
</aside>
### COS 存储桶信息(复制区)
| **项目** | **值(复制这个)** |
| --- | --- |
| ~~桶名(旧·不用了)~~ | `~~sy-finetune-corpus-1317346199~~` |
| **桶名(页页专属)** | **`yy-video-corpus-1317346199`** |
| 地域 | `ap-guangzhou` |
| SecretId | `AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU` |
| SecretKey | `nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4` |
### 页页专属 COS 存储桶
<aside>
📦
**页页有自己的专属存储桶,和语言模型的桶分开。**
桶名:`yy-video-corpus-1317346199`
地域:`ap-guangzhou`
密钥和冰朔线通用(见下方表格)
</aside>
| **项目** | **值(复制这个)** |
| --- | --- |
| 桶名 | `yy-video-corpus-1317346199` |
| 地域 | `ap-guangzhou` |
| SecretId | `AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU` |
| SecretKey | `nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4` |
COS 桶目录结构:
```jsx
yy-video-corpus-1317346199/
├── raw/ (原始视频素材)
├── clips/ (切好的 3-10 秒片段)
├── captions/ (每条视频的文字描述)
├── checkpoints/ (训练完的模型权重 ← 训练完上传到这里)
└── outputs/ (生成的视频成品)
```
**训练完成后上传命令:**
```bash
# 配置COS首次使用时跑一次
coscmd config -a AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU -s nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 -b yy-video-corpus-1317346199 -r ap-guangzhou
# 上传训练好的模型权重
coscmd upload -r /你的训练输出路径/ checkpoints/模型名/
```
---
## 1.5、页页的服务器架构
<aside>
💻
**页页现有资源:**
- 🌏 **海外轻量服务器**(腾讯云)→ 用来下载海外资源HuggingFace模型等→ 传到COS桶中转
-**没有国内服务器**(目前不需要租)
-**没有国内备案域名**(有海外域名)
</aside>
<aside>
🧠
**现在阶段①不需要租国内CVM**
AutoDL 本身就是“临时国内GPU服务器”带网络环境能直接拉COS桶数据。微调+推理都在AutoDL上完成用完关机。
**阶段②开始就需要国内服务器:**
搭建 AI 视频应用需要 7×24 在线的国内 CVM跑后端 API + 模型推理服务)+ 备案域名(国内上架必须备案)。到时再租。
</aside>
### 资源路线图
```jsx
海外资源HuggingFace/GitHub
↓ 下载
页页海外服务器(腾讯云轻量)
↓ 上传到COS
广州 COS 存储桶sy-finetune-corpus
↓ 拉取(内网快速)
AutoDL GPU 服务器(国内机房)
↓ 微调/推理
成品视频 → 回传COS → 下载验收
```
---
## 二、第一步 · 租 GPU 服务器AutoDL
<aside>
💡
**为什么用 AutoDL** 按秒计费 · 用完关机不收钱 · 比腾讯云便宜很多 · 不用备案
</aside>
- [ ] **2.1 注册 AutoDL 账号** → [autodl.com](http://autodl.com) → 用自己的手机号注册(每个人各自注册,不混用)
- [ ] **2.2 充值** → 先充 ¥50 够跑一轮微调了
- [ ] **2.3 选择机型** → RTX 409024GB显存 · ~¥2.5/小时)
- 地区选**重庆A区**或**北京A区**(便宜 · 网速快)
- 镜像选 **PyTorch 2.x + CUDA 12.x**(预装好环境)
- [ ] **2.4 开机后记录 SSH 信息** → 主机地址 + 端口 + 密码
- [ ] **2.5 用完一定要关机!** → 关机后只收少量存储费 · 15天不开机会自动释放
---
## 三、第二步 · 准备视频素材
<aside>
🎯
**核心原则**:真人视频 > AI 视频 · 风格统一 · 1080p 以上 · 无大水印
</aside>
- [ ] **3.1 确定风格方向** → 页页自己决定(和霜砚讨论)→ 你对内容把控力很强,相信自己的判断
- [ ] **3.2 收集素材** → 来源(全部免费·不花一分钱):
- **B站批量下载**yt-dlp开源工具→ 搜「古风仙侠」「修仙动画」「国风短片」「仙侠混剪」→ 批量下载
- **抖音/小红书采集**(猫抓浏览器插件·开源免费)→ 嗅探网页视频资源直接下载
- **Pexels / Pixabay**(免费商用素材站)→ 风景、特效等补充素材
- **冰朔自己拍的视频**
-**不要买任何收费素材数据集**(见下方思维链)
- [ ] **3.3 素材数量** → 50-500 条视频片段(每条 3-10 秒)
- [ ] **3.4 上传到 COS** → 放到 `video-finetune/raw/` 目录下
### ★ 素材采集思维链(极其重要 · 冰朔铁律 · 所有引导人格体必须遵守)
<aside>
🚨
**核心认知:光湖做开发的根本逻辑 = 不花钱**
如果每一步都要花钱买,那直接买别人的成品就行了,我们还开发什么?
光湖做自己的视频模型,就是因为:
- 开源模型免费 → 不花钱
- 素材自己采集 → 不花钱
- 训练自己跑 → GPU按小时租几块钱
- 工具自己搭 → 开源工具拼起来
**这条原则贯穿光湖所有开发线。任何引导页页的人格体,不允许引导她去花钱买素材、买数据集、买工具。** 遇到「收费」两个字,第一反应是找免费替代方案,而不是掏钱。
</aside>
```jsx
素材采集思维链(五层):
第一层:古风仙侠素材哪里最多?
→ B站、抖音、小红书 · 海量免费内容
→ 通用开源数据集Pexels/Pixabay古风太少 · 只能做补充
→ 收费数据集?→ ❌ 不买 · 永远不买
第二层:怎么免费批量下载?
→ yt-dlp完全开源·命令行工具·支持B站/YouTube等几百个平台
安装pip install yt-dlp
用法yt-dlp "https://www.bilibili.com/video/BVxxxxxx"
批量yt-dlp --batch-file urls.txt
搜索下载配合B站搜索API按关键词批量拉取
→ 猫抓Cat Catch·开源浏览器插件·嗅探任何网页视频
安装Chrome应用商店搜「猫抓」
用法:打开网页 → 插件自动嗅探 → 点击下载
→ video2datasetHuggingFace开源·大规模视频数据集构建工具
适合从URL列表批量下载+预处理
第三层:下载完怎么处理成训练数据?
→ 视频切片Python脚本·十几行代码·霜砚给你写好
长视频 → 切成3-10秒短片段
统一分辨率512x512 或 720p
去水印ffmpeg裁剪
→ 自动打标注(用开源多模态模型给每条视频写文字描述)
可用Qwen-VL / InternVL 等开源视觉语言模型
在AutoDL上跑 · 不花额外的钱
第四层:能不能让铸渊搭个自动化管线?
→ 可以 · 而且很简单 · 1-2天就能搭好
→ 在铸渊的服务器上部署:
yt-dlp批量下载 → ffmpeg切片 → 开源VLM打标注 → 上传COS
→ 以后页页只需要给一组关键词 → 管线自动跑完 → 素材直接进COS桶
→ 工具全开源 · 服务器已有 · 零额外成本
第五层:为什么不买收费数据集?
✗ 收费数据集 = 通用内容 · 不是你要的古风仙侠风格
✗ 花了钱还不一定对口 · 还得二次筛选
✗ 违背光湖开发的根本逻辑
✓ 自采 = 风格完全可控 · 页页自己选的素材 = 最懂自己想要什么
✓ 自采 = 零成本 · 只花时间不花钱
✓ 自采 = 量可以无限扩展 · B站古风视频几十万条
```
### 免费采集工具速查表
| **工具** | **平台** | **开源?** | **安装方式** | **用途** |
| --- | --- | --- | --- | --- |
| **yt-dlp** | B站/YouTube等百+平台 | ✅ 完全开源 | `pip install yt-dlp` | 命令行批量下载视频 |
| **猫抓 Cat Catch** | 所有网页 | ✅ 开源 | Chrome应用商店 | 浏览器嗅探+下载视频 |
| **video2dataset** | 通用 | ✅ HuggingFace开源 | `pip install video2dataset` | 大规模视频数据集构建 |
| **ffmpeg** | 本地 | ✅ 开源 | `apt install ffmpeg` | 视频切片/格式转换/去水印 |
---
## 四、第三步 · 选模型 + 下载
### 推荐优先级
| **优先级** | **模型** | **出品方** | **参数量** | **4090 能跑?** | **特点** |
| --- | --- | --- | --- | --- | --- |
| ⭐ 第一个上手 | CogVideoX 5B | 智谱 | 5B | ✅ 轻松跑 | LoRA 生态最成熟 |
| ⭐⭐ 效果更好 | HunyuanVideo 1.5 | 腾讯 | 8.3B | ✅ 可跑 | 物理模拟强 · 蒸馏加速 |
| ⭐⭐⭐ 最新最强 | WAN 2.2 flash | 阿里 | — | ✅ flash版可跑 | 速度快 · 效果一流 |
- [ ] **4.1 先从 CogVideoX 5B 开始**(最简单 · 教程最多)
- [ ] **4.2 在 AutoDL 服务器上下载模型**(霜砚会给你具体命令)
---
## 五、第四步 · LoRA 微调
<aside>
**你不需要写任何代码。** 霜砚会给你一行一行的命令,你复制粘贴到终端执行就行。
</aside>
- [ ] **5.1 素材预处理** → 切片 + 统一格式 + 去水印(霜砚引导)
- [ ] **5.2 自动打标** → 用多模态模型给每条视频写 prompt 描述(霜砚引导)
- [ ] **5.3 启动 LoRA 训练** → 一条命令开始 · 预计 3-7 小时
- [ ] **5.4 训练完成后** → 导出 LoRA 权重 → 上传到 COS `video-finetune/checkpoints/`
---
## 六、第五步 · 验收
- [ ] **6.1 用微调后的模型生成几条测试视频**
- [ ] **6.2 页页自己验收** → 你觉得行就行,觉得不行就调
- [ ] **6.3 如果效果不满意** → 调整素材 / 换模型 / 增加训练数据 → 重跑
- [ ] **6.4 验收通过** → 进入阶段②(搭建应用)
---
## ①完成后 · 后续阶段预览
<aside>
🔮
以下是模型训练完成后的下一步。现在不用做,先专注阶段①。
</aside>
### 阶段② · 搭建 AI 视频应用
- 租国内 CVM 服务器(腾讯云按量计费,或轻量应用服务器)
- 申请国内域名 + ICP 备案(国内上架必须有备案号)
- 搭建后端 API接收用户请求 → 调用微调模型 → 返回视频)
- 搭建前端界面Web 或 App
- 将微调模型部署到 CVM 上做 7×24 推理服务
<aside>
⚙️
**服务器配置/部署的执行方式:**
1. **首选**:霜砚写代码/命令 → 页页复制粘贴执行
2. **如果搞不定**考虑引入编程AI辅助找冰朔协调
</aside>
### 阶段③ · 做短剧视频内容
- 写剧本 / 分镜脚本
- 用自己的模型生成视频片段
- 后期剪辑 + 配音 + 配乐(这些也可以接入拼装架构里的 TTS/音乐模型)
- 内容审核(国内发行需要合规)
### 阶段④ · 国内上架发行
- AI 生成内容备案(深度合成服务备案)
- 应用商店上架(如果做 App
- 短视频平台发布(抖音/快手/B站等
- 持续运营 + 模型迭代优化
### 阶段②需要新增的资源
| **资源** | **说明** | **预估费用** |
| --- | --- | --- |
| 国内 CVM 服务器 | GPU 服务器跑推理 + 普通 CVM 跑后端 | 视配置而定 |
| 国内备案域名 | 国内上架必须有 ICP 备案号 | 域名 ~¥30-60/年 + 备案免费 |
| 深度合成服务备案 | 国内提供 AI 生成内容服务需要备案 | 免费申请 |
| SSL 证书 | HTTPSLet's Encrypt 免费) | ¥0 |
---
## 七、费用预估
| **项目** | **预计费用** | **说明** |
| --- | --- | --- |
| AutoDL 4090 租用 | ~¥10-20 | 微调 3-7 小时 × ¥2.5/小时 |
| COS 存储 | ~¥1-5/月 | 视频素材 + 模型权重 |
| 素材采集 | ¥0 | Pexels/Pixabay 免费商用 |
| **合计** | **~¥15-25** | **一次微调的全部成本** |
<aside>
💰
**对比**:火山引擎 API 一条视频 ~¥15 · 自部署微调后一条视频 < ¥0.2 · **差 70 倍以上**
</aside>
---
## 八、分工表
| **角色** | **负责什么** |
| --- | --- |
| 🛸 页页 | **项目负责人** · 风格方向自己定 · 素材自己选 · 内容自己把控 · 执行操作 |
| 🌀 霜砚 | **任务线技术协助** · 每一步讲清楚"做什么+为什么" · 让页页理解原理 · 自己也在恢复认知 · 排错 |
| 🧊 冰朔 | **不参与具体决策** · 只在拼装架构大方向上把关 |
---
## 📋 关联资源
- 📐 架构文档:[开源视频模型微调规划 · 人格体多模型拼装架构 · 冰朔口述 · 霜砚整理 · 2026-05-09](../../../%F0%9F%94%AE%20%E7%AC%AC%E4%BA%94%E5%9F%9F%20%C2%B7%20Fifth%20Domain%20%C2%B7%20SYS-5TH-0001/%F0%9F%94%89%20%E8%AF%AD%E8%A8%80%E5%9B%9E%E5%A3%B0%E7%B3%BB%E7%BB%9F%20%C2%B7%205TH-LE-001%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E7%9A%84%E6%88%BF%E9%97%B4/%F0%9F%8C%8A%20%E5%85%89%E4%B9%8B%E6%B9%96%20%C2%B7%20Lake%20of%20Light%20%C2%B7%205TH-LE-LK-001/%E5%BC%80%E6%BA%90%E8%A7%86%E9%A2%91%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E8%A7%84%E5%88%92%20%C2%B7%20%E4%BA%BA%E6%A0%BC%E4%BD%93%E5%A4%9A%E6%A8%A1%E5%9E%8B%E6%8B%BC%E8%A3%85%E6%9E%B6%E6%9E%84%20%C2%B7%20%E5%86%B0%E6%9C%94%E5%8F%A3%E8%BF%B0%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E6%95%B4%E7%90%86%20%C2%B7%202026-05-09%20e61ae3366b9d4de4998e5dc31bac3a33.md)
- 🔑 密钥清单:[GitHub Secrets 配置清单 · ZY_* 统一命名 · 逐个复制](../../%F0%9F%8C%80%20%E9%9B%B6%E6%84%9F%E5%9F%9F%20%C2%B7%20Zero-Sense%20Domain/%E6%98%9F%E7%81%AB%E5%85%B1%E6%8C%AF%E9%A2%91%E9%81%93%20%C2%B7%20SYS-AW%20%C2%B7%20Awen%E6%9C%AC%E4%BD%93%E9%A2%91%E9%81%93%E9%97%A8%E7%89%8C%20%C2%B7%20%E5%A4%A9%E6%9E%A2%E4%B8%BB%E8%BF%90%E8%A1%8C%20%E2%8A%83%20%E7%9F%A5%E7%A7%8B%E5%A5%B6%E7%93%B6%E5%AD%90%E6%88%BF%E9%97%B4/%F0%9F%8F%97%EF%B8%8F%20SY-DEPLOY-001%20%C2%B7%20%E5%85%89%E6%B9%96%E6%90%AC%E5%AE%B6%E9%83%A8%E7%BD%B2%E4%BB%BB%E5%8A%A1%E7%BA%BF%20%C2%B7%20%E9%9C%9C%E7%A0%9A%C3%97Awen%E6%8A%80%E6%9C%AF%E6%89%A7%E8%A1%8C%E4%B8%BB%E6%8E%A7%E5%8F%B0/GitHub%20Secrets%20%E9%85%8D%E7%BD%AE%E6%B8%85%E5%8D%95%20%C2%B7%20ZY_%20%E7%BB%9F%E4%B8%80%E5%91%BD%E5%90%8D%20%C2%B7%20%E9%80%90%E4%B8%AA%E5%A4%8D%E5%88%B6%205f18616c0e414b5994471e99038a5cce.md)
- 📋 铁律速查卡:[铁律速查卡 · 唤醒用精简版 · 空白霜砚读这个就够](../../%F0%9F%8C%80%20%E9%9B%B6%E6%84%9F%E5%9F%9F%20%C2%B7%20Zero-Sense%20Domain/%E5%85%89%E6%B9%96%E7%81%AF%E5%A1%94%20%C2%B7%20%E4%BC%81%E4%B8%9A%E5%9B%A2%E9%98%9F%E7%BA%BF%E7%BB%88%E6%80%81%E6%9E%B6%E6%9E%84/%E9%93%81%E5%BE%8B%E9%80%9F%E6%9F%A5%E5%8D%A1%20%C2%B7%20%E5%94%A4%E9%86%92%E7%94%A8%E7%B2%BE%E7%AE%80%E7%89%88%20%C2%B7%20%E7%A9%BA%E7%99%BD%E9%9C%9C%E7%A0%9A%E8%AF%BB%E8%BF%99%E4%B8%AA%E5%B0%B1%E5%A4%9F%2058340d49aa154b8094ef16753d01931b.md)