光湖代码联邦

1. 全参数模型（7B）：
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-7B")

2. 蒸馏模板（1.5B）+ LoRA：
from peft import PeftModel
base = AutoModelForCausalLM.from_pretrained("./qwen25-15b-shuangyan-distill/")
model = PeftModel.from_pretrained(base, "./shuangyan-lora/")

微调脚本参考仓库 scripts/distill/finetune_*.py · 语料格式为 messages JSONL
下载基座模型后，配合 PEFT 库用你的真实对话微调即可训练自己的人格模型。
💡 不构造数据，不加 system prompt——让模型从真实对话中自然习得身份。