第一集：LoRA模型训练介绍（试看）

图文教学

 

目前C站有大量热门的LoRA，在它们的帮助下我们可以轻易地画出自己喜欢的人物

我相信都开始考虑训练LoRA了应该没少用一些不错的LoRA，同时对LoRA也应该有了一些初略的认知

但是如果你喜欢的人物比较冷门，就需要自己去训练LoRA模型了，也就是大家普遍称为的 “炼丹”

训练LoRA能带来什么

• 代表着你可以生成属于你的独一无二的角色
• 你可以让这个角色在各种不同背景的地方出现，可以让它摆出各种姿势，满足你的无限幻想
• 还有的商家，用LoRA训练衣服，以致于他们可以省下不少模特、摄影的费用
• 有的用LoRA训练商品，让自己的商品以低成本高效率地获得很多高端大气上档次的商详图
• 当然漫画绘本也同样需要自己去单独训练LoRA
• 同样在现在比较流行的AI视频中用自己训练的LoRA可以生成特定的人物形象视频
• LORA可以学习更复杂主体如建筑或机械产品的绘画技巧

 

 

什么是LoRA模型训练

在LoRA出现之前，SD只能依靠DreamBooth训练的Checkpoint大模型来实现作画，如果对大模型产出的效果不满意，那就只能再回去训练，对大模型不断的迭代、微调

但 DreamBooth 的训练要求高、消耗大、速度慢，一般家庭的电脑很难满足训练门槛，而 LoRA 直接把训练门槛降低了，于是便有大量的人参与到LoRA的模型训练当中去

LoRA（Localized Refinement of Attributes）技术是一种轻量化的模型微调训练方法

它基于原有的大模型，在不需要重新从零开始训练的情况下，对模型进行微调，以生成特定的人物、物品或画风

LoRA技术的独特之处在于它能够在训练速度快、模型大小适中以及训练配置要求较低的情况下，实现个性化的模型训练

LoRA需要和大模型搭配一起使用，它是作为大模型的微调的一个存在

 

LoRA模型训练的配置要求

 

训练门槛	DreamBooth	LoRA
显存要求	≥ 12GB	≥ 8GB
训练对象	人脸、物件	人物形象、画风、概念、服饰、元素
产物大小	≥ 2GB	8 - 200MB
微调难度	麻烦	简单

 

LoRA训练对显卡有一定要求，同时需要安装一些方便训练的软件

首先，对电脑配置的要求主要来自显卡，需要显卡有足够的显存，其他配置不太差就可以

显卡的选择中显存是第一要素，SD1.5版本的底模6G显存勉强可用，8G显存就可以比较流畅的生成图片和炼制LoRA，12G可以流畅的使用Dreambooth微调大模型

显存低的同学可以考虑去线上训练，我也会出一期线上训练LoRA的教程

 

LoRA模型训练的基本步骤

1. 数据集准备

首先，你需要准备用于模型微调的数据集，这个数据集应该包含与你的目标风格或属性相关的图像

例如，如果你想要训练一个能够生成具有特定人物的模型，那么你需要收集大量该人物各种视角的图像

2. 参数配置

训练环境配置，训练参数配置

3. 模型训练

LoRA技术的核心是微调，在这一步骤中，你将使用你的数据集对选定的基础模型进行微调

微调的目标是让模型适应你所定义的风格、属性或特征，这需要一定的时间和计算资源，但相较于从头开始训练一个全新模型，LoRA技术大大减少了成本和时间

通常一个15张的人物形象LoRA使用3060-12G显卡通常在4小时左右

4. 模型测试

模型训练完成后，需要对训练好的这些模型进行测试，以便找出训练效果最好的那个模型（哪个模型在哪个权重值下表现最佳）

 

LoRA模型训练器

1.SD-Trainer训练器

 

2.赛博丹炉

 

3.LibLibAI在线训练

 

我的主要通过SD-Trainer训练器进行LoRA训练教学，赛博丹炉训练器后面我也会简单教学一些，基本会用一种训练器，其他训练器都能很快上手，不过掌握一种训练器就足够了

同时为了一些显卡不足的同学考虑，我还会教学如何通过LibLibAI在线免费训练LoRA

接下来我将从SD-Trainer训练器安装开始，一步一步教大家训练自己的LoRA