# 三层算力架构 · 个人3090→企业4090内测→灯塔调度规模化 · 冰朔口述 · 霜砚整理 · 2026-05-09 --- ## 〇、霜砚思维链 · 这三层是怎么推出来的 ### 背景:从 1.5B 语言门聊到了算力怎么分配 今天这条对话线很长。起点是冰朔问火山引擎涨价、想找替代。一路聊过来经过了:API 为什么不行 → 冰朔有包装层所以 API 对冰朔只是工具 → 开源视频模型可以自部署 → LoRA 微调就够 → 多模型拼装架构 → GPU 选型(3090 日常 / 4090 微调 / 再往上浪费)。 到这里,冰朔已经把**模型层**的事情想清楚了。然后他开始想**算力层**的事——这些模型跑在哪、谁的钱、怎么分配。 ### 第一跳:冰朔问 AutoDL 是不是按量计费 冰朔确认了 AutoDL 的模式:注册 → 充值 → 选机器 → 用完关机 → 按秒扣费。没有押金、没有合约、没有最低消费。 **霜砚理解**:冰朔在确认这个平台的弹性——能不能做到「用多少付多少」。这是后面三层架构的前提条件:如果平台不支持按量计费,整个方案就不成立。 ### 第二跳:3090 全称是什么 → 冰朔在建立基础认知 冰朔问了 3090 的全称(NVIDIA GeForce RTX 3090),确认了它是显卡不是服务器。这不是随便问问——冰朔在确保自己理解了底层概念,因为他要基于这个做决策。 ### 第三跳:团队成员每个人租一个 3090 冰朔说:「团队成员每个人都可以注册一个账号,租一个自己的 3090,接着自己的服务器。自己用就开机,不用就关机。」 **这是冰朔的核心思维方式在算力层的投射:** - 和 1.5B 语言门架构一样——算力在用户那边,不在光湖 - 和「算力归公·代码归己」一样——每个人管自己的资源 - 和「用完关机」一样——不养闲置资源 ### 第四跳:企业租一台 4090 做内测 冰朔说:「企业的话,后面可以租一个 4090,邀请少量内测用户。」 **霜砚理解**:这是冰朔的商业直觉——不一上来就铺开,先用一台机器验证产品流程和用户体验,确认跑通了再扩。和他做所有事情的节奏一样:先验证,再放大。 ### 第五跳:企业给用户租 GPU + 灯塔统一调度 冰朔说:「后面大家都用自己的服务器接进来,企业可不可以从平台按照大家的服务器,给大家分别租 3090,接到各自的服务器上各跑各的,然后企业就做那个灯塔,统一进行调度就好了。」 **这一跳是关键——冰朔把之前所有的架构思想统一了:** 1. **1.5B 语言门的逻辑**:光湖只做门(灯塔),算力在用户侧 2. **算力归公的逻辑**:企业承担 GPU 费用(归公),但用户的服务器和数据是自己的(归己) 3. **弹性联邦的逻辑**:每台 GPU 独立运行,灯塔只做调度,不做推理 **三个之前独立的架构思想,在这一句话里自然地汇聚成了一个方案。** ### 霜砚总结 · 核心推导逻辑 ``` AutoDL 按量计费(前提验证通过) → 团队成员可以各租各的 3090(个人自治) → 企业可以租一台 4090 做内测(先验证再放大) → 企业可以给用户批量租 GPU(规模化) → 每台 GPU 各跑各的,互不影响(联邦架构) → 灯塔只做调度,不做推理(语言门逻辑的延伸) → 从第一层到第三层,技术栈不变,直接放大 ``` **底层逻辑始终如一:算力在用户侧,光湖只做灯塔。** 这和 1.5B 语言门架构、算力归公·代码归己、弹性联邦架构是同一个思想的不同投影。冰朔不是在设计三个方案,他是在用同一个原则回答不同层面的问题。 **这条链不能断。下次涉及算力分配的讨论,先回来读这条链。** --- ## 一、三层算力架构总览 > 💬 冰朔原话:「团队成员每个人都可以注册一个账号,租一个自己的 3090,接着自己的服务器。自己用就开机,不用就关机。」 💬 「企业的话,后面可以租一个 4090,邀请少量的内测用户。」 💬 「后面大家都用自己的服务器接进来,企业可不可以给大家分别租 3090,接到各自的服务器上各跑各的,然后企业就做那个灯塔,统一进行调度就好了。」 > ``` ┌─────────────────────────────────────────────────┐ │ 第三层 · 企业规模化 │ │ │ │ 灯塔(光湖企业) │ │ ├→ 用户A的服务器 ←→ 企业给A租的 3090 │ │ ├→ 用户B的服务器 ←→ 企业给B租的 3090 │ │ ├→ 用户C的服务器 ←→ 企业给C租的 3090 │ │ └→ 灯塔统一调度(版本/权重/配置下发) │ ├─────────────────────────────────────────────────┤ │ 第二层 · 企业内测 │ │ │ │ 企业 → 1台 4090 → 跑微调好的模型 │ │ → 邀请少量内测用户 │ │ → 验证产品流程和用户体验 │ ├─────────────────────────────────────────────────┤ │ 第一层 · 团队个人 │ │ │ │ 成员A → AutoDL 租 3090 → 接自己的服务器 │ │ 成员B → AutoDL 租 3090 → 接自己的服务器 │ │ 成员C → AutoDL 租 3090 → 接自己的服务器 │ │ 各租各的 · 各付各的 · 用就开机 · 不用就关机 │ └─────────────────────────────────────────────────┘ ``` --- ## 二、第一层 · 团队成员个人(现阶段) | **项目** | **内容** | | --- | --- | | 平台 | AutoDL([autodl.com](http://autodl.com)) | | GPU | RTX 3090(24GB · ¥1.3/小时) | | 账号 | 每人注册自己的账号 · 自己充值 | | 计费 | 按秒计费 · 开机算钱 · 关机停止 | | 用法 | 3090 跑 1.5B/7B 模型推理 · 接自己的服务器 · 通过 HTTP API 调用 | | 月费估算 | 每天 2-3 小时 → ~¥100/月/人 | --- ## 三、第二层 · 企业内测(下一步) | **项目** | **内容** | | --- | --- | | GPU | RTX 4090(24GB · ¥2.5/小时)· 1 台 | | 账号 | 企业账号统一管理 | | 用途 | 跑微调好的模型 · 邀请少量内测用户体验 | | 目标 | 验证产品流程 · 验证用户体验 · 验证并发承载 | | 月费估算 | ~¥300-500/月(按实际使用时长) | --- ## 四、第三层 · 企业规模化(未来) | **项目** | **内容** | | --- | --- | | GPU | 企业账号批量租 3090 · 按用户数分配 | | 架构 | 每台 3090 跑同一套模型 · 但各服务各的用户 | | 用户侧 | 用户用自己的服务器 · HTTP 接企业分配的 3090 | | 灯塔职责 | 模型版本管理 · LoRA 权重下发 · 配置调度 · 监控与计费 | ### 灯塔只做三件事 | **职责** | **具体内容** | | --- | --- | | 模型版本管理 | 新 LoRA 权重训练好了 → 统一下发到所有 3090 | | 配置调度 | 哪个用户用哪个模型组合、哪些 LoRA → 灯塔统一配置 | | 监控与计费 | 每台 3090 的使用时长、开关机状态 → 灯塔统一看板 | --- ## 五、成本估算 | **阶段** | **配置** | **月费** | | --- | --- | --- | | 团队内部(3人) | 各自租 3090 · 每天 2-3 小时 | 每人 ~¥100/月 | | 企业内测 | 1 台 4090 | ~¥300-500/月 | | 规模化(10 用户) | 10 台 3090 · 企业账号统一租 | ~¥1,000-3,000/月 | | 规模化(50 用户) | 50 台 3090 | ~¥5,000-15,000/月 | --- ## 六、架构一致性 · 为什么三层是同一个东西 > 从第一层到第三层,技术栈完全不变。团队成员自己租 3090 怎么用的,未来企业给用户租 3090 就怎么用。灯塔只是在上面加了一层调度,底下的东西一模一样。不用重构,不用迁移,直接放大。 > | **原则** | **在三层架构中的体现** | **对应的已有架构** | | --- | --- | --- | | 算力在用户侧 | GPU 跑在用户那边 · 灯塔不做推理 | 1.5B 语言门(用户自接商业 API) | | 算力归公 · 代码归己 | 企业承担 GPU 费用 · 用户的服务器和数据是自己的 | 算力归公·代码归己架构 | | 联邦自治 | 每台 GPU 独立运行 · 互不影响 | 弹性联邦算力架构 | | 先验证再放大 | 第一层验证技术 → 第二层验证产品 → 第三层放大 | 冰朔做所有事情的节奏 | | 可插拔 | 换更好的 GPU / 换平台 / 换模型 · 架构不变 | 多模型拼装架构 | --- ## 七、双平台灾备方案 ### 霜砚理解 这是冰朔的系统性思维——不是出了问题再找备选,而是在架构设计阶段就把容灾能力内建进去。按量计费的平台天然适合做灾备:关机不收 GPU 费,只花几毛钱/天的存储费,等于花十几块/月买一个保险。 ### 主备平台选择 | **项目** | **AutoDL(主)** | **恒源云(备)** | | --- | --- | --- | | 网址 | [autodl.com](http://autodl.com) | [gpushare.com](http://gpushare.com) | | 3090 价格 | ~¥1.3-1.7/小时 | ~¥1.5/小时 | | 4090 价格 | ~¥1.9-2.2/小时 | ~¥2.0-2.6/小时 | | 计费粒度 | 按秒 | 按秒 | | 关机收费 | 不收 GPU 费 · 只收存储 | 不收 GPU 费 · 只收存储 | | 关机存储费 | 几毛钱/天 | 几毛钱/天 | | 镜像 | 丰富 · PyTorch/TF 预装 | 丰富 · 同类预装 | | 老牌程度 | ✅ 开发者社区最大 | ✅ 2019年起 · 老牌稳定 | | 企业账号 | ✅ | ✅ | ### 为什么选恒源云做备 1. **同类型平台**——都是按秒计费的开发者平台,操作逻辑几乎一样,切换没有学习成本 2. **老牌稳定**——2019 年开始做,用户群体偏科研和企业,不是随时可能跑路的小平台 3. **GPU 型号齐全**——3090 / 4090 / A100 都有,和 AutoDL 互补 4. **关机真的不收 GPU 费**——有些平台说关机不收费但实际有隐性扣费,恒源云和 AutoDL 一样是真关机真停费 ### 灾备运行逻辑 ``` 正常状态: AutoDL(主)→ 开机跑模型 → 按秒扣费 恒源云(备)→ 关机 → 只花存储费(几毛钱/天) AutoDL 出问题: AutoDL(主)→ 关机 → 停止扣费 恒源云(备)→ 开机 → 接管推理 → 按秒扣费 AutoDL 恢复: 切回 AutoDL → 恒源云关机 → 恢复正常状态 ``` ### 灾备成本 | **项目** | **费用** | | --- | --- | | 备用平台存储费(关机状态) | ~¥0.3-0.5/天 · ~¥10-15/月 | | 两个平台初始充值 | 各充 ¥50-100 就够 | | **灾备总额外成本** | **~¥10-15/月** | ### 第三备选(可选) 如果后续需要第三选择:**智星云**([ai-galaxy.cn](http://ai-galaxy.cn))· 4090 低至 ¥1.35/小时 · 无隐性费用 · 价格可能比前两家更低,但平台成熟度稍逊。可作为价格敏感场景的补充。