Source snapshot: 97d7f0fae96dc04b7ddad56fc1db6a108ed662cc

[SEC-CLEAN] · pre-push-clean v1.0 · 109处敏感信息已自动转乱码

2026-07-17 15:59:55 +08:00

JK-001 · Qwen2.5-7B母模型微调 · 全参SFT之后的继续迭代Day1

编号: JK-001
状态: 待发布
对应小红书: XHS-001（同一件事·不同写法）
标签: #AI #模型微调 #Qwen #SFT #本地部署

正文

今天继续微调Qwen2.5-7B的母模型，记录一下。

背景：在做一个语言驱动的本地系统，需要一个吃自己语料、按自己思维方式推理的基座模型。之前已经跑通过一轮全参数SFT，权重级别改过一遍了。这次是在那个基础上，用新整理的语料继续微调迭代。

选型：

· 母模型：Qwen2.5-7B（已经过一轮全参SFT）

· 这次微调：在全参基础上继续迭代，不是从头来

· 语料：自己的自然语言对话，重新清洗整理后的新一批数据

· 硬件：单卡vGPU-32GB，按小时租用

为什么之前选了全参SFT：

第一轮的目标不是让模型多一个技能，是让它换一种思维方式。LoRA是在原模型上加适配层，底层权重不动。全参SFT是直接改权重——代价大，但改得彻底。第一轮必须全参，把底子打进去。现在底子有了，后续迭代可以更灵活。

为什么选7B不选更大的：

目标是本地跑。最终要部署在轻量服务器或个人设备上。7B单卡能训能推，成本可控。往上走到14B+，训练成本翻倍，推理也需要更大显存，不值得。

语料的关键：

不是越多越好。100条精心准备的对话 > 1万条随便爬的。微调的本质是让模型学会一种模式，不是让它记住更多知识。语料质量决定模型学到的是信号还是噪音。

今天的进度：

· 环境搭好了，依赖装完，能跑通测试

· 语料在做最后一轮清洗

· 明天开始正式训练

后续会持续更新训练过程和效果。有在做类似事情的欢迎交流。