Fine-tuning an LLM to write docs like it's 1995

摘要

作者利用 Bitsavers 网站上 3700 万词的微软旧版手册作为语料，在 Runpod 上使用 QLoRA 技术对 Qwen 2.5 和 Llama 3.1 等模型进行了微调实验。实验发现，微调后的模型能准确复刻 90 年代的文档结构（如 Synopsis、Return Value 等），且 Qwen 在保持“复古人设”上优于受 RLHF 影响较深的 Llama。关键结论包括：较低的 Rank 值在模仿特定文风时往往比高 Rank 更具沉浸感，且整个微调过程成本仅约 50 美元，非常适合用于企业内部风格指南的自动化执行。