第二章: Stable Diffusion模型详解

模型类型全解析

模型分类总览

SD模型体系
├── Checkpoint (大模型,2-7GB)
│   ├── 底模(Base Model)
│   ├── 真实系
│   ├── 二次元
│   └── 艺术风格
├── LoRA (小模型,10-200MB)  
│   ├── 人物LoRA
│   ├── 风格LoRA
│   └── 概念LoRA
├── VAE (色彩优化,300MB)
├── Embedding/Textual Inversion (关键词,10-100KB)
├── Hypernetwork (风格网络,50-200MB)
└── ControlNet (控制模型,1-2GB)

1. Checkpoint(大模型)

什么是Checkpoint?

Checkpoint是SD的核心大模型,决定了整体画风和质量。

特点:

文件大小: 2-7GB
格式: .safetensors(推荐) 或 .ckpt
作用: 定义基础画风
同时只能用1个

主流Checkpoint推荐

真实系(Realistic)

1. Realistic Vision V5.1

大小: 2GB
特点: 超写实,亚洲面孔友好
擅长: 人像摄影,时尚大片
推荐CFG: 4-7
适合人群: 想做写实人像

示例Prompt:

a beautiful asian girl, long black hair, natural makeup,
professional photography, soft lighting, 8k uhd, film grain,
shot on Canon EOS R5, 85mm f1.2

2. ChilloutMix

特点: 韩系美女,细节丰富
擅长: 时尚写真,商业摄影
注意: 需搭配VAE使用

3. Deliberate

特点: 平衡写实与艺术
擅长: 商业插画,概念设计
通用性:

二次元(Anime)

1. Anything V5

特点: 万用二次元,质量高
擅长: 动漫角色,CG插画
推荐给: 二次元爱好者

示例Prompt:

1girl, blue eyes, long silver hair, school uniform,
smile, cherry blossoms background,
anime style, highly detailed, vibrant colors

2. CounterfeitV3

特点: 色彩鲜艳,日系风格
擅长: 轻小说插画,漫画风

3. GhostMix

特点: 幽灵系,神秘风格
擅长: 奇幻角色,暗黑系

艺术风格

1. DreamShaper

特点: 梦幻风格,创意丰富
擅长: 概念艺术,场景设计
通用性强

2. Protogen

特点: 科幻机甲风格
擅长: 游戏设计,赛博朋克

3. ReV Animated

特点: 3D渲染风格
擅长: 产品设计,建筑可视化

Checkpoint版本说明

文件名解读:

realisticVision_v51.safetensors
├─ 模型名: realisticVision
├─ 版本: v5.1
└─ 格式: safetensors

模型名_版本_剪枝类型.格式
如: anythingV5_v5_pruned-fp16.safetensors
     └─ pruned: 剪枝(减小文件)
     └─ fp16: 半精度(更小,质量略降)

版本选择:

最新版: 通常质量更好
稳定版: 标注"stable"的版本
剪枝版(pruned): 文件小,质量接近
fp16版: 显存不足时选择

Checkpoint切换

1. 下载模型 → models/Stable-diffusion/
2. WebUI顶部 Checkpoint 下拉框
3. 选择模型(会重新加载,等10-30秒)
4. 生成图片测试

切换速度优化:

使用SSD存放模型
设置中启用"Accelerate model loading"

2. LoRA模型

什么是LoRA?

LoRA(Low-Rank Adaptation)是轻量级的风格/人物模型,可以叠加在Checkpoint上使用。

特点:

文件大小: 10-200MB
可以同时使用多个LoRA(建议≤3个)
通过权重控制强度(0-1)
灵活性极高

LoRA类型

1. 人物LoRA

用途: 生成特定人物/角色

示例:

<lora:柳岩:0.8>
1girl, black hair, red dress, smile

权重0.8 = 80%相似度
权重越高,越像目标人物
推荐范围: 0.6-0.9

2. 风格LoRA

用途: 改变画风

常见风格:

中国风(古风)
赛博朋克
水墨画
油画质感
像素艺术

示例:

<lora:GuFeng_v2:0.7>
ancient chinese style, hanfu dress,
traditional architecture, ink painting

适合中国风主题

3. 概念LoRA

用途: 特定概念/场景

类型:

光影效果(体积光、逆光)
特定姿势(坐姿、背影)
服装类型(婚纱、JK制服)
场景类型(室内、森林)

LoRA使用方法

方法1: 直接写在Prompt

Prompt:
<lora:koreanDollLikeness_v15:0.7>
<lora:filmGrain_v1:0.5>
a beautiful girl, smile...

方法2: 从生成参数添加

1. 点击"生成参数"下方的🎴图标
2. 选择LoRA模型
3. 调整权重滑块
4. 自动添加到Prompt

LoRA权重调节

权重	效果	适用场景
0.3-0.5	轻微影响	仅作点缀
0.6-0.8	明显效果	推荐范围
0.9-1.0	强烈影响	可能过拟合
>1.0	过度强化	一般不推荐

LoRA叠加技巧

# 组合示例: 韩系美女
<lora:koreanDollLikeness:0.7>    # 韩系面孔
<lora:filmGrain:0.4>             # 胶片颗粒
<lora:detailTweaker:0.5>         # 细节增强

a korean girl, natural makeup,
soft lighting, professional photography

注意:
- LoRA数量: 建议≤3个
- 总权重: 建议<2.5
- 避免冲突: 不要用2个相同类型LoRA

3. VAE模型

什么是VAE?

VAE(Variational AutoEncoder)负责色彩和细节优化,可以显著改善画质。

作用:

修正色彩偏灰/偏暗
提升细节清晰度
优化饱和度

对比:

无VAE: 色彩偏灰,发暗,细节模糊
有VAE: 色彩鲜艳,通透,细节锐利

VAE使用

设置方法:

方法1: 全局设置
Settings > VAE > SD VAE > 选择VAE
Apply settings > Reload UI

方法2: 单次使用
生成参数下方 > VAE下拉框 > 选择

方法3: 自动匹配
将VAE命名为: 模型名.vae.safetensors
放在同一目录,自动加载
如: realisticVision_v51.vae.safetensors

是否需要VAE?

有些模型内置VAE(baked VAE),不需要额外加载
如果生成图片颜色正常,可以不用
色彩偏灰、发暗,必须用

4. Embedding/Textual Inversion

什么是Embedding?

Embedding是将复杂概念压缩成一个关键词。

特点:

文件极小: 10-100KB
使用简单: 直接当关键词用
类型: 正向(风格)、反向(排除问题)

常用Embedding

正向Embedding(风格)

示例:

easynegative, badhandv4, ng_deepnegative_v1_75t

使用:
Negative Prompt: easynegative, badhandv4, ...

反向Embedding(排除问题)

最常用: EasyNegative

作用: 一键排除低质量、畸形、模糊等问题
用法: 放在Negative Prompt第一个
效果: 等同于写一长串反向词

对比:

不用EasyNegative:
Negative: (worst quality:2), (low quality:2), lowres, 
bad anatomy, bad hands, text, error, missing fingers,
extra digit, fewer digits, cropped, worst quality,
low quality, normal quality, jpeg artifacts, signature,
watermark, username, blurry
(需要记住一大堆)

用EasyNegative:
Negative: easynegative
(一个词搞定)

Embedding安装

1. 下载 .pt 或 .safetensors 文件
2. 放入: embeddings/
3. 刷新WebUI(不需要重启)
4. 直接在Prompt/Negative Prompt使用

5. Hypernetwork

什么是Hypernetwork?

Hypernetwork是另一种风格微调方式,类似LoRA但使用较少。

对比LoRA:

LoRA: 更灵活,效果更好,主流选择
Hypernetwork: 较老技术,逐渐被LoRA取代

使用场景: 少数特定老模型需要

6. ControlNet模型

什么是ControlNet?

ControlNet提供精准控制能力:

控制姿势
控制构图
线稿上色
深度控制
边缘检测

详细内容见第5章

ControlNet模型类型

controlnet/
├── control_canny (边缘检测)
├── control_depth (深度图)
├── control_openpose (姿态控制)
├── control_scribble (涂鸦)
├── control_lineart (线稿)
└── control_tile (超分)

模型组合策略

组合公式

Checkpoint + LoRA(≤3) + VAE + Embedding = 最终效果

示例1: 韩系写真
Checkpoint: ChilloutMix
LoRA: koreanDollLikeness (0.7)
LoRA: filmGrain (0.4)
VAE: vae-ft-mse-840000
Negative: easynegative

示例2: 二次元插画
Checkpoint: Anything V5
LoRA: GuFeng_v2 (0.6) # 古风
VAE: kl-f8-anime2
Negative: easynegative

选择原则

明确目标: 想要什么风格?
选Checkpoint: 定基调(写实/二次元/艺术)
加LoRA微调: 调整细节风格
配VAE: 优化色彩
用Embedding: 排除问题

模型下载与管理

下载渠道

1. Civitai (最全,需翻墙)

https://civitai.com
模型最多,更新最快
有预览图和参数

2. LiblibAI (国内)

https://www.liblib.art
访问快,无需翻墙
中文界面

3. HuggingFace

https://huggingface.co
官方模型源
适合下载基础模型

下载建议

1. 看预览图: 是否是你想要的风格
2. 看评分: 4星以上
3. 看下载量: 下载多说明受欢迎
4. 看更新时间: 太老的模型可能过时
5. 看示例参数: 有参考价值

模型管理工具

Civitai Helper插件:

功能:
- 一键下载模型到正确目录
- 查看模型信息和预览图
- 管理本地模型
- 检查模型更新

安装:
Extensions > Install from URL
URL: https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper

模型命名规范

推荐命名格式:
类型_名称_版本.格式

示例:
ckpt_realisticVision_v51.safetensors
lora_koreanDoll_v15.safetensors
vae_mse840k.safetensors

好处:
- 一眼看出类型
- 方便搜索
- 易于管理

模型训练(进阶)

训练LoRA

为什么训练?

生成特定人物/角色
创建自己的风格
复现特定概念

训练所需:

16GB+ 显存(推荐RTX 3090/4090)
10-30张训练图片
训练工具: Kohya_ss / Easy Training

简要流程:

1. 准备数据集(10-30张高质量图片)
2. 图片预处理(裁剪、打标签)
3. 配置训练参数
4. 训练(1-3小时)
5. 测试LoRA
6. 调整参数重新训练

详细训练教程超出本章范围,建议搜索专门教程

模型安全与版权

模型安全

safetensors vs ckpt:

.safetensors: 安全格式,推荐
.ckpt: 可能含恶意代码,谨慎使用

下载注意:

只从可信站点下载
下载前看评论和评分
杀毒软件扫描

版权问题

训练数据版权:

商用需注意版权
人物肖像权问题
艺术家风格版权

生成图片版权:

个人使用:基本没问题
商业使用:需谨慎,咨询律师
不要生成侵权内容

常见问题

为什么我的图片颜色发灰? A: 没有使用VAE,加载一个VAE即可

LoRA不生效怎么办? A:

检查语法: <lora:名称:权重>
检查LoRA是否在models/Lora目录
刷新WebUI
增加权重到0.8-1.0

可以同时用多个Checkpoint吗? A: 不可以,同时只能用1个Checkpoint,但可以用多个LoRA

模型太多,WebUI加载很慢怎么办? A:

删除不常用的模型
使用SSD硬盘
启用模型哈希缓存

如何知道一个模型好不好? A:

看Civitai评分和评论
下载量高的通常不错
自己生成测试

下一章预告

第三章: 提示词技巧

500+风格关键词库
提示词语法与权重
正向/反向提示词技巧
20个万能提示词模板

学会了选模型,下一步就是写好提示词!