LoRA模型训练入门指南：从零开始学习

LoRA是一种高效的模型微调技术，在AI绘画和大语言模型中广泛应用。

本文是LoRA模型训练的入门指南，从零开始，包括原理、准备工作、训练步骤、参数调优、常见问题，帮助你快速上手。

一、什么是LoRA

1. LoRA的定义

LoRA，全称Low-Rank Adaptation。

• 低秩适配
• 一种高效的微调方法
• 不需要微调整个模型
• 只训练少量参数
• 效果接近全量微调

LoRA，是高效微调的代表。

2. LoRA的原理

LoRA的原理：

• 在模型的权重矩阵旁
• 加一个低秩矩阵
• 训练这个低秩矩阵
• 原始模型权重冻结
• 推理时合并权重

低秩，是LoRA的核心。

3. LoRA的优势

LoRA的优势：

• 训练快
• 占用显存少
• 模型文件小
• 可以快速切换
• 效果好

LoRA，是微调的利器。

4. LoRA的应用

LoRA的应用：

• Stable Diffusion微调
• 大语言模型微调
• 风格迁移
• 人物训练
• 概念训练

LoRA，应用广泛。

二、准备工作

1. 硬件要求

第一个准备：硬件要求。

• 显卡：至少8GB显存
• 推荐12GB以上
• 内存：16GB以上
• 硬盘：至少50GB空闲
• 显卡越好训练越快

硬件，是训练的基础。

2. 软件环境

第二个准备：软件环境。

• Python 3.10
• PyTorch
• CUDA
• Git
• 训练脚本

环境，要配置好。

3. 基础模型

第三个准备：基础模型。

• Stable Diffusion 1.5
• 或者SDXL
• 下载基础模型
• 放在指定目录
• 这是训练的基础

基础模型，是起点。

4. 训练数据

第四个准备：训练数据。

• 准备图片
• 数量：10-20张
• 分辨率：512x512或768x768
• 质量要高
• 内容要统一

数据，决定效果。

三、数据准备

1. 图片收集

第一步：图片收集。

• 收集训练用的图片
• 同一人物或同一风格
• 多角度、多场景
• 质量要高
• 不要有水印

收集，是第一步。

2. 图片处理

第二步：图片处理。

• 裁剪成正方形
• 512x512或768x768
• 统一分辨率
• 可以用工具批量处理
• 保证质量

处理，保证一致性。

3. 打标

第三步：打标。

• 给每张图片写描述
• 用英文
• 描述要准确
• 包含主体、场景、风格
• 可以用工具自动打标

打标，是关键步骤。

4. 数据划分

第四步：数据划分。

• 训练集：大部分
• 验证集：小部分
• 一般不需要测试集
• 数据少可以不划分
• 看情况

划分，是规范。

四、训练步骤

1. 安装训练工具

第一步：安装训练工具。

• kohya_ss
• 或者sd-scripts
• 克隆仓库
• 安装依赖
• 配置环境

工具，是训练的载体。

2. 配置参数

第二步：配置参数。

• 基础模型路径
• 训练数据路径
• 输出路径
• 训练轮数
• 学习率
• batch size

参数，决定训练效果。

3. 开始训练

第三步：开始训练。

• 运行训练脚本
• 观察loss变化
• 观察生成效果
• 定期保存模型
• 耐心等待

训练，需要耐心。

4. 测试效果

第四步：测试效果。

• 训练过程中测试
• 用训练好的LoRA生成图片
• 看效果
• 不满意继续训练
• 满意就停止

测试，验证效果。

五、关键参数

1. 学习率

第一个参数：学习率。

• 控制更新步长
• 太大：训练不稳定
• 太小：训练慢
• 一般1e-4到1e-5
• 需要调

学习率，是最重要的参数。

2. 训练轮数

第二个参数：训练轮数。

• 训练多少轮
• 太少：欠拟合
• 太多：过拟合
• 一般10-20轮
• 看数据量

轮数，影响效果。

3. batch size

第三个参数：batch size。

• 每次训练多少张
• 受显存限制
• 越大越稳定
• 一般1-4
• 看显存

batch size，受硬件限制。

4. 网络维度

第四个参数：网络维度（rank/dim）。

• LoRA矩阵的维度
• 越大：表达能力强，文件大
• 越小：文件小，表达能力弱
• 一般32-128
• 看需求

维度，是LoRA的核心参数。

5. 正则化

第五个参数：正则化。

• 防止过拟合
• 正则化图片
• 正则化权重
• 重要参数
• 不要忽视

正则化，防止过拟合。

六、常见问题

1. 问题一：过拟合

第一个问题：过拟合。

• 生成的图片和训练集一模一样
• 缺乏变化
• 原因：训练太多轮
• 解决：减少轮数、加正则化、降低学习率

过拟合，是常见问题。

2. 问题二：欠拟合

第二个问题：欠拟合。

• 生成的图片不像目标
• 效果差
• 原因：训练太少
• 解决：增加轮数、提高学习率、增加数据

欠拟合，也常见。

3. 问题三：显存不足

第三个问题：显存不足。

• 训练时报错
• OOM
• 原因：batch size太大、分辨率太高
• 解决：减小batch size、降低分辨率、用梯度累积

显存，是硬件限制。

4. 问题四：效果不好

第四个问题：效果不好。

• 生成的图片质量差
• 原因很多
• 数据质量差
• 参数不对
• 训练不够

效果不好，需要排查。

5. 问题五：训练慢

第五个问题：训练慢。

• 训练速度慢
• 原因：硬件差、参数大
• 解决：升级硬件、优化参数、用混合精度

速度，影响体验。

七、训练技巧

1. 技巧一：数据质量

第一个技巧：数据质量。

• 数据质量决定效果
• 高质量图片
• 准确的打标
• 多样化的场景
• 比数量重要

质量，比数量重要。

2. 技巧二：小学习率

第二个技巧：小学习率。

• 用小学习率
• 训练更稳定
• 效果更好
• 虽然慢一点
• 但值得

小学习率，更稳定。

3. 技巧三：多次实验

第三个技巧：多次实验。

• 不要一次就想成功
• 多试几组参数
• 记录每次的效果
• 找到最佳参数
• 实验是必须的

实验，是找到最佳参数的方法。

4. 技巧四：保存中间模型

第四个技巧：保存中间模型。

• 定期保存
• 每几轮保存一次
• 对比不同轮数的效果
• 选择最好的
• 不要只保存最后一个

中间模型，可能更好。

5. 技巧五：用正则化

第五个技巧：用正则化。

• 正则化很重要
• 防止过拟合
• 提高泛化能力
• 不要省
• 准备正则化图片

正则化，是质量保障。

八、LoRA的使用

1. 在WebUI中使用

在Stable Diffusion WebUI中使用：

• 把LoRA文件放models/Lora目录
• 在提示词中引用
• <lora:name:weight>
• 调整权重
• 生成图片

使用，很简单。

2. 权重调整

权重调整：

• 权重0-1
• 太小：效果不明显
• 太大：过拟合
• 一般0.6-0.8
• 根据效果调整

权重，影响效果。

3. 多个LoRA叠加

多个LoRA叠加：

• 可以同时用多个LoRA
• 风格+人物
• 不同的效果
• 注意权重分配
• 不要太多

叠加，创造更多可能。

4. 模型合并

模型合并：

• 可以把LoRA合并到基础模型
• 生成新的模型
• 方便使用
• 但不能调整权重
• 看需求

合并，是另一种使用方式。

九、进阶方向

1. 进阶一：DreamBooth

第一个进阶：DreamBooth。

• 另一种微调方法
• 效果更好
• 但需要更多资源
• 可以学习
• LoRA是基础

DreamBooth，是进阶。

2. 进阶二：Textual Inversion

第二个进阶：Textual Inversion。

• 训练embedding
• 文件更小
• 适合概念训练
• 可以了解
• 和LoRA不同

Textual Inversion，是另一种方法。

3. 进阶三：全量微调

第三个进阶：全量微调。

• 微调整个模型
• 效果最好
• 但需要大量资源
• 一般人做不了
• 了解即可

全量微调，是终极方法。

4. 进阶四：大模型LoRA

第四个进阶：大模型LoRA。

• 不只是AI绘画
• 大语言模型也可以用LoRA
• ChatGLM、Llama
• 更有价值
• 可以学习

大模型，是更广阔的领域。

十、写在最后

LoRA模型训练入门指南，从零开始学习。

LoRA是低秩适配，一种高效的微调方法。准备工作包括硬件、软件、基础模型、训练数据。训练步骤包括安装工具、配置参数、开始训练、测试效果。关键参数有学习率、训练轮数、batch size、网络维度、正则化。常见问题有过拟合、欠拟合、显存不足、效果不好、训练慢。

2023年了，AI绘画和大语言模型都在快速发展，LoRA作为高效微调技术，越来越重要。学会LoRA训练，能让你定制自己的模型，创造独特的内容。不要怕，从零开始，多实验，多总结，你也能训练出自己的LoRA。

最后，用一句话总结："LoRA训练，不难但也不简单。准备好数据，调好参数，多实验多总结，你也能训练出自己的模型。"

希望这篇指南，能帮你快速上手LoRA训练。