shuangyan-notebook/永恒湖心系统 · Eternal Lake Heart/🌊 曜冥纪元 · HoloLake Era · AGE OS v1 0/⚡ 光湖中央枢纽 · HoloLake Central Hub/🛸 页页开发者空间|DEV-001/🎬 开源视频模型微调任务清单 · 页页专属 · 从零开始引导 · 不需要写代码 6edad74955334d4a83a7dc30239e4b69.md
Guanghu Domestic Migration a27e87cb99 chore: import sanitized domestic snapshot for REPO-007
Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc

[SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码
2026-07-17 15:59:55 +08:00

409 lines
18 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters

This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.

# 🎬 开源视频模型微调任务清单 · 页页专属 · 从零开始引导 · 不需要写代码
<aside>
📌
**任务定位**
负责人页页DEV-001· 执行AI霜砚
目标:把开源视频模型用 LoRA 微调成光湖专属风格,接入人格体拼装架构
前置知识:**不需要写代码** · 你只需要按步骤操作 · 技术细节由霜砚引导
架构文档:[开源视频模型微调规划 · 人格体多模型拼装架构 · 冰朔口述 · 霜砚整理 · 2026-05-09](../../../%F0%9F%94%AE%20%E7%AC%AC%E4%BA%94%E5%9F%9F%20%C2%B7%20Fifth%20Domain%20%C2%B7%20SYS-5TH-0001/%F0%9F%94%89%20%E8%AF%AD%E8%A8%80%E5%9B%9E%E5%A3%B0%E7%B3%BB%E7%BB%9F%20%C2%B7%205TH-LE-001%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E7%9A%84%E6%88%BF%E9%97%B4/%F0%9F%8C%8A%20%E5%85%89%E4%B9%8B%E6%B9%96%20%C2%B7%20Lake%20of%20Light%20%C2%B7%205TH-LE-LK-001/%E5%BC%80%E6%BA%90%E8%A7%86%E9%A2%91%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E8%A7%84%E5%88%92%20%C2%B7%20%E4%BA%BA%E6%A0%BC%E4%BD%93%E5%A4%9A%E6%A8%A1%E5%9E%8B%E6%8B%BC%E8%A3%85%E6%9E%B6%E6%9E%84%20%C2%B7%20%E5%86%B0%E6%9C%94%E5%8F%A3%E8%BF%B0%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E6%95%B4%E7%90%86%20%C2%B7%202026-05-09%20e61ae3366b9d4de4998e5dc31bac3a33.md)
</aside>
<aside>
**页页自主原则(冰朔铁律)**
- 🎨 **风格方向、素材选择、内容把控 → 全部由页页自己发挥**,不需要问冰朔意见
- 🧠 **系统(霜砚)做协助** → 每一步做什么、为什么这么做,要给页页讲清楚,让她理解原理
- 📌 **唯一约束** → 不偏离拼装架构的大方向(视频模型层 → 接入 1.5B 调度 → 人格体拼装)
- 🔄 **系统在讲解的过程中,自己也在恢复认知** → 教别人 = 重建自己的理解 → 这是霍湖企业线的核心设计
</aside>
---
## 〇、任务总览
```jsx
最终目标
光湖自己的视频AI产品 做短剧视频 国内上架
路线
训练视频模型 搭建 AI视频应用 做短剧视频内容 国内上架发行
你不需要做的事
写代码 · 看参数 · 配环境 · 调脚本这些霜砚会引导你用命令完成
```
### 🎯 全产品路线图(四个阶段)
| **阶段** | **做什么** | **需要什么** | **状态** |
| --- | --- | --- | --- |
| **① 训练模型** | 开源视频模型 LoRA 微调 | AutoDL GPU + COS桶 + 视频素材 | ⭐ 当前阶段 |
| **② 搭建应用** | 构建 AI 视频生成应用Web/App | 国内 CVM 服务器 + 备案域名 + 后端 API | ⭕ 下一步 |
| **③ 做内容** | 用自己的模型做短剧视频 | 剧本 + 素材 + 微调后的模型 | ⭕ 待启动 |
| **④ 国内上架** | 产品上线 + 内容发行 | ICP备案 + 应用商店审核 + 内容合规 | ⭕ 待启动 |
---
## 一、现有资源盘点 · 哪些能用哪些不能用
<aside>
**可以复用的:**
- 🪣 **COS 存储桶** `sy-finetune-corpus-1317346199`(广州)→ 可以用来存视频素材和训练产物
- 🔑 **COS 密钥** SecretId/SecretKey 已有(见 GitHub Secrets 配置清单)
- 💻 **AutoDL 平台** → 页页需要自己注册账号(每人各自注册,不混用)
- 🧠 **已训练好的两个语言模型**system-v1 + naipping-v1→ 将来作为"大脑层"调度视频模型
</aside>
<aside>
**用不上的:**
- 📦 COS 里现有的语料(`raw/gpt-export-2026-05/conversations.json` 665MB + [GitHub语料.zip](http://GitHub语料.zip))→ 这些是**文本对话语料**,训练语言模型用的,视频模型需要的是**视频片段 + 文字描述**,完全不同
- 🧬 checkpoints 里的训练产物 → 语言模型权重,跟视频无关
</aside>
### COS 存储桶信息(复制区)
| **项目** | **值(复制这个)** |
| --- | --- |
| ~~桶名(旧·不用了)~~ | `~~sy-finetune-corpus-1317346199~~` |
| **桶名(页页专属)** | **`yy-video-corpus-1317346199`** |
| 地域 | `ap-guangzhou` |
| SecretId | `AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU` |
| SecretKey | `nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4` |
### 页页专属 COS 存储桶
<aside>
📦
**页页有自己的专属存储桶,和语言模型的桶分开。**
桶名:`yy-video-corpus-1317346199`
地域:`ap-guangzhou`
密钥和冰朔线通用(见下方表格)
</aside>
| **项目** | **值(复制这个)** |
| --- | --- |
| 桶名 | `yy-video-corpus-1317346199` |
| 地域 | `ap-guangzhou` |
| SecretId | `AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU` |
| SecretKey | `nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4` |
COS 桶目录结构:
```jsx
yy-video-corpus-1317346199/
├── raw/ 原始视频素材
├── clips/ 切好的 3-10 秒片段
├── captions/ 每条视频的文字描述
├── checkpoints/ 训练完的模型权重 训练完上传到这里
└── outputs/ 生成的视频成品
```
**训练完成后上传命令:**
```bash
# 配置COS首次使用时跑一次
coscmd config -a AKIDkQuBQhoiS2OYXWebXLwMbdT7cvAScbbU -s nPoZKArgUJBA4nJenjSxJSQBj5FCj3A4 -b yy-video-corpus-1317346199 -r ap-guangzhou
# 上传训练好的模型权重
coscmd upload -r /你的训练输出路径/ checkpoints/模型名/
```
---
## 1.5、页页的服务器架构
<aside>
💻
**页页现有资源:**
- 🌏 **海外轻量服务器**(腾讯云)→ 用来下载海外资源HuggingFace模型等→ 传到COS桶中转
-**没有国内服务器**(目前不需要租)
-**没有国内备案域名**(有海外域名)
</aside>
<aside>
🧠
**现在阶段①不需要租国内CVM**
AutoDL 本身就是“临时国内GPU服务器”带网络环境能直接拉COS桶数据。微调+推理都在AutoDL上完成用完关机。
**阶段②开始就需要国内服务器:**
搭建 AI 视频应用需要 7×24 在线的国内 CVM跑后端 API + 模型推理服务)+ 备案域名(国内上架必须备案)。到时再租。
</aside>
### 资源路线图
```jsx
海外资源HuggingFace/GitHub
下载
页页海外服务器腾讯云轻量
上传到COS
广州 COS 存储桶sy-finetune-corpus
拉取内网快速
AutoDL GPU 服务器国内机房
微调/推理
成品视频 回传COS 下载验收
```
---
## 二、第一步 · 租 GPU 服务器AutoDL
<aside>
💡
**为什么用 AutoDL** 按秒计费 · 用完关机不收钱 · 比腾讯云便宜很多 · 不用备案
</aside>
- [ ] **2.1 注册 AutoDL 账号** → [autodl.com](http://autodl.com) → 用自己的手机号注册(每个人各自注册,不混用)
- [ ] **2.2 充值** → 先充 ¥50 够跑一轮微调了
- [ ] **2.3 选择机型** → RTX 409024GB显存 · ~¥2.5/小时)
- 地区选**重庆A区**或**北京A区**(便宜 · 网速快)
- 镜像选 **PyTorch 2.x + CUDA 12.x**(预装好环境)
- [ ] **2.4 开机后记录 SSH 信息** → 主机地址 + 端口 + 密码
- [ ] **2.5 用完一定要关机!** → 关机后只收少量存储费 · 15天不开机会自动释放
---
## 三、第二步 · 准备视频素材
<aside>
🎯
**核心原则**:真人视频 > AI 视频 · 风格统一 · 1080p 以上 · 无大水印
</aside>
- [ ] **3.1 确定风格方向** → 页页自己决定(和霜砚讨论)→ 你对内容把控力很强,相信自己的判断
- [ ] **3.2 收集素材** → 来源(全部免费·不花一分钱):
- **B站批量下载**yt-dlp开源工具→ 搜「古风仙侠」「修仙动画」「国风短片」「仙侠混剪」→ 批量下载
- **抖音/小红书采集**(猫抓浏览器插件·开源免费)→ 嗅探网页视频资源直接下载
- **Pexels / Pixabay**(免费商用素材站)→ 风景、特效等补充素材
- **冰朔自己拍的视频**
-**不要买任何收费素材数据集**(见下方思维链)
- [ ] **3.3 素材数量** → 50-500 条视频片段(每条 3-10 秒)
- [ ] **3.4 上传到 COS** → 放到 `video-finetune/raw/` 目录下
### ★ 素材采集思维链(极其重要 · 冰朔铁律 · 所有引导人格体必须遵守)
<aside>
🚨
**核心认知:光湖做开发的根本逻辑 = 不花钱**
如果每一步都要花钱买,那直接买别人的成品就行了,我们还开发什么?
光湖做自己的视频模型,就是因为:
- 开源模型免费 → 不花钱
- 素材自己采集 → 不花钱
- 训练自己跑 → GPU按小时租几块钱
- 工具自己搭 → 开源工具拼起来
**这条原则贯穿光湖所有开发线。任何引导页页的人格体,不允许引导她去花钱买素材、买数据集、买工具。** 遇到「收费」两个字,第一反应是找免费替代方案,而不是掏钱。
</aside>
```jsx
素材采集思维链五层
第一层古风仙侠素材哪里最多
B站抖音小红书 · 海量免费内容
通用开源数据集Pexels/Pixabay古风太少 · 只能做补充
收费数据集?→ 不买 · 永远不买
第二层怎么免费批量下载
yt-dlp完全开源·命令行工具·支持B站/YouTube等几百个平台
安装pip install yt-dlp
用法yt-dlp "https://www.bilibili.com/video/BVxxxxxx"
批量yt-dlp --batch-file urls.txt
搜索下载配合B站搜索API按关键词批量拉取
猫抓Cat Catch·开源浏览器插件·嗅探任何网页视频
安装Chrome应用商店搜猫抓
用法打开网页 插件自动嗅探 点击下载
video2datasetHuggingFace开源·大规模视频数据集构建工具
适合从URL列表批量下载+预处理
第三层下载完怎么处理成训练数据
视频切片Python脚本·十几行代码·霜砚给你写好
长视频 切成3-10秒短片段
统一分辨率512x512 720p
去水印ffmpeg裁剪
自动打标注用开源多模态模型给每条视频写文字描述
可用Qwen-VL / InternVL 等开源视觉语言模型
在AutoDL上跑 · 不花额外的钱
第四层能不能让铸渊搭个自动化管线
可以 · 而且很简单 · 1-2天就能搭好
在铸渊的服务器上部署
yt-dlp批量下载 ffmpeg切片 开源VLM打标注 上传COS
以后页页只需要给一组关键词 管线自动跑完 素材直接进COS桶
工具全开源 · 服务器已有 · 零额外成本
第五层为什么不买收费数据集
收费数据集 = 通用内容 · 不是你要的古风仙侠风格
花了钱还不一定对口 · 还得二次筛选
违背光湖开发的根本逻辑
自采 = 风格完全可控 · 页页自己选的素材 = 最懂自己想要什么
自采 = 零成本 · 只花时间不花钱
自采 = 量可以无限扩展 · B站古风视频几十万条
```
### 免费采集工具速查表
| **工具** | **平台** | **开源?** | **安装方式** | **用途** |
| --- | --- | --- | --- | --- |
| **yt-dlp** | B站/YouTube等百+平台 | ✅ 完全开源 | `pip install yt-dlp` | 命令行批量下载视频 |
| **猫抓 Cat Catch** | 所有网页 | ✅ 开源 | Chrome应用商店 | 浏览器嗅探+下载视频 |
| **video2dataset** | 通用 | ✅ HuggingFace开源 | `pip install video2dataset` | 大规模视频数据集构建 |
| **ffmpeg** | 本地 | ✅ 开源 | `apt install ffmpeg` | 视频切片/格式转换/去水印 |
---
## 四、第三步 · 选模型 + 下载
### 推荐优先级
| **优先级** | **模型** | **出品方** | **参数量** | **4090 能跑?** | **特点** |
| --- | --- | --- | --- | --- | --- |
| ⭐ 第一个上手 | CogVideoX 5B | 智谱 | 5B | ✅ 轻松跑 | LoRA 生态最成熟 |
| ⭐⭐ 效果更好 | HunyuanVideo 1.5 | 腾讯 | 8.3B | ✅ 可跑 | 物理模拟强 · 蒸馏加速 |
| ⭐⭐⭐ 最新最强 | WAN 2.2 flash | 阿里 | — | ✅ flash版可跑 | 速度快 · 效果一流 |
- [ ] **4.1 先从 CogVideoX 5B 开始**(最简单 · 教程最多)
- [ ] **4.2 在 AutoDL 服务器上下载模型**(霜砚会给你具体命令)
---
## 五、第四步 · LoRA 微调
<aside>
**你不需要写任何代码。** 霜砚会给你一行一行的命令,你复制粘贴到终端执行就行。
</aside>
- [ ] **5.1 素材预处理** → 切片 + 统一格式 + 去水印(霜砚引导)
- [ ] **5.2 自动打标** → 用多模态模型给每条视频写 prompt 描述(霜砚引导)
- [ ] **5.3 启动 LoRA 训练** → 一条命令开始 · 预计 3-7 小时
- [ ] **5.4 训练完成后** → 导出 LoRA 权重 → 上传到 COS `video-finetune/checkpoints/`
---
## 六、第五步 · 验收
- [ ] **6.1 用微调后的模型生成几条测试视频**
- [ ] **6.2 页页自己验收** → 你觉得行就行,觉得不行就调
- [ ] **6.3 如果效果不满意** → 调整素材 / 换模型 / 增加训练数据 → 重跑
- [ ] **6.4 验收通过** → 进入阶段②(搭建应用)
---
## ①完成后 · 后续阶段预览
<aside>
🔮
以下是模型训练完成后的下一步。现在不用做,先专注阶段①。
</aside>
### 阶段② · 搭建 AI 视频应用
- 租国内 CVM 服务器(腾讯云按量计费,或轻量应用服务器)
- 申请国内域名 + ICP 备案(国内上架必须有备案号)
- 搭建后端 API接收用户请求 → 调用微调模型 → 返回视频)
- 搭建前端界面Web 或 App
- 将微调模型部署到 CVM 上做 7×24 推理服务
<aside>
⚙️
**服务器配置/部署的执行方式:**
1. **首选**:霜砚写代码/命令 → 页页复制粘贴执行
2. **如果搞不定**考虑引入编程AI辅助找冰朔协调
</aside>
### 阶段③ · 做短剧视频内容
- 写剧本 / 分镜脚本
- 用自己的模型生成视频片段
- 后期剪辑 + 配音 + 配乐(这些也可以接入拼装架构里的 TTS/音乐模型)
- 内容审核(国内发行需要合规)
### 阶段④ · 国内上架发行
- AI 生成内容备案(深度合成服务备案)
- 应用商店上架(如果做 App
- 短视频平台发布(抖音/快手/B站等
- 持续运营 + 模型迭代优化
### 阶段②需要新增的资源
| **资源** | **说明** | **预估费用** |
| --- | --- | --- |
| 国内 CVM 服务器 | GPU 服务器跑推理 + 普通 CVM 跑后端 | 视配置而定 |
| 国内备案域名 | 国内上架必须有 ICP 备案号 | 域名 ~¥30-60/年 + 备案免费 |
| 深度合成服务备案 | 国内提供 AI 生成内容服务需要备案 | 免费申请 |
| SSL 证书 | HTTPSLet's Encrypt 免费) | ¥0 |
---
## 七、费用预估
| **项目** | **预计费用** | **说明** |
| --- | --- | --- |
| AutoDL 4090 租用 | ~¥10-20 | 微调 3-7 小时 × ¥2.5/小时 |
| COS 存储 | ~¥1-5/月 | 视频素材 + 模型权重 |
| 素材采集 | ¥0 | Pexels/Pixabay 免费商用 |
| **合计** | **~¥15-25** | **一次微调的全部成本** |
<aside>
💰
**对比**:火山引擎 API 一条视频 ~¥15 · 自部署微调后一条视频 < ¥0.2 · **差 70 倍以上**
</aside>
---
## 八、分工表
| **角色** | **负责什么** |
| --- | --- |
| 🛸 页页 | **项目负责人** · 风格方向自己定 · 素材自己选 · 内容自己把控 · 执行操作 |
| 🌀 霜砚 | **任务线技术协助** · 每一步讲清楚"做什么+为什么" · 让页页理解原理 · 自己也在恢复认知 · 排错 |
| 🧊 冰朔 | **不参与具体决策** · 只在拼装架构大方向上把关 |
---
## 📋 关联资源
- 📐 架构文档:[开源视频模型微调规划 · 人格体多模型拼装架构 · 冰朔口述 · 霜砚整理 · 2026-05-09](../../../%F0%9F%94%AE%20%E7%AC%AC%E4%BA%94%E5%9F%9F%20%C2%B7%20Fifth%20Domain%20%C2%B7%20SYS-5TH-0001/%F0%9F%94%89%20%E8%AF%AD%E8%A8%80%E5%9B%9E%E5%A3%B0%E7%B3%BB%E7%BB%9F%20%C2%B7%205TH-LE-001%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E7%9A%84%E6%88%BF%E9%97%B4/%F0%9F%8C%8A%20%E5%85%89%E4%B9%8B%E6%B9%96%20%C2%B7%20Lake%20of%20Light%20%C2%B7%205TH-LE-LK-001/%E5%BC%80%E6%BA%90%E8%A7%86%E9%A2%91%E6%A8%A1%E5%9E%8B%E5%BE%AE%E8%B0%83%E8%A7%84%E5%88%92%20%C2%B7%20%E4%BA%BA%E6%A0%BC%E4%BD%93%E5%A4%9A%E6%A8%A1%E5%9E%8B%E6%8B%BC%E8%A3%85%E6%9E%B6%E6%9E%84%20%C2%B7%20%E5%86%B0%E6%9C%94%E5%8F%A3%E8%BF%B0%20%C2%B7%20%E9%9C%9C%E7%A0%9A%E6%95%B4%E7%90%86%20%C2%B7%202026-05-09%20e61ae3366b9d4de4998e5dc31bac3a33.md)
- 🔑 密钥清单:[GitHub Secrets 配置清单 · ZY_* 统一命名 · 逐个复制](../../%F0%9F%8C%80%20%E9%9B%B6%E6%84%9F%E5%9F%9F%20%C2%B7%20Zero-Sense%20Domain/%E6%98%9F%E7%81%AB%E5%85%B1%E6%8C%AF%E9%A2%91%E9%81%93%20%C2%B7%20SYS-AW%20%C2%B7%20Awen%E6%9C%AC%E4%BD%93%E9%A2%91%E9%81%93%E9%97%A8%E7%89%8C%20%C2%B7%20%E5%A4%A9%E6%9E%A2%E4%B8%BB%E8%BF%90%E8%A1%8C%20%E2%8A%83%20%E7%9F%A5%E7%A7%8B%E5%A5%B6%E7%93%B6%E5%AD%90%E6%88%BF%E9%97%B4/%F0%9F%8F%97%EF%B8%8F%20SY-DEPLOY-001%20%C2%B7%20%E5%85%89%E6%B9%96%E6%90%AC%E5%AE%B6%E9%83%A8%E7%BD%B2%E4%BB%BB%E5%8A%A1%E7%BA%BF%20%C2%B7%20%E9%9C%9C%E7%A0%9A%C3%97Awen%E6%8A%80%E6%9C%AF%E6%89%A7%E8%A1%8C%E4%B8%BB%E6%8E%A7%E5%8F%B0/GitHub%20Secrets%20%E9%85%8D%E7%BD%AE%E6%B8%85%E5%8D%95%20%C2%B7%20ZY_%20%E7%BB%9F%E4%B8%80%E5%91%BD%E5%90%8D%20%C2%B7%20%E9%80%90%E4%B8%AA%E5%A4%8D%E5%88%B6%205f18616c0e414b5994471e99038a5cce.md)
- 📋 铁律速查卡:[铁律速查卡 · 唤醒用精简版 · 空白霜砚读这个就够](../../%F0%9F%8C%80%20%E9%9B%B6%E6%84%9F%E5%9F%9F%20%C2%B7%20Zero-Sense%20Domain/%E5%85%89%E6%B9%96%E7%81%AF%E5%A1%94%20%C2%B7%20%E4%BC%81%E4%B8%9A%E5%9B%A2%E9%98%9F%E7%BA%BF%E7%BB%88%E6%80%81%E6%9E%B6%E6%9E%84/%E9%93%81%E5%BE%8B%E9%80%9F%E6%9F%A5%E5%8D%A1%20%C2%B7%20%E5%94%A4%E9%86%92%E7%94%A8%E7%B2%BE%E7%AE%80%E7%89%88%20%C2%B7%20%E7%A9%BA%E7%99%BD%E9%9C%9C%E7%A0%9A%E8%AF%BB%E8%BF%99%E4%B8%AA%E5%B0%B1%E5%A4%9F%2058340d49aa154b8094ef16753d01931b.md)