【SDXL 1.0】ControlNetをweb UIで利用する方法

「web UIでSDXL 1.0用のControlNetはもう利用できるの？」
「ControlNet用モデルが多くて、意味がわからない・・・」

このような場合には、この記事の内容が参考になります。
この記事では、SDXL 1.0版ControlNetの利用方法を解説しています。

本記事の内容

SDXL 1.0版ControlNet
SDXL 1.0版ControlNetのインストール
SDXL 1.0版ControlNetの動作確認

それでは、上記に沿って解説していきます。

SDXL 1.0版ControlNet

SDXL 1.0版ControlNetとは、SDXL 1.0用のControlNetを指します。
ControlNetについては、もう説明は不要ですね。

もしControlNet自体を知らない場合は、以下をご覧ください。

このControlNetですが、SDXL 1.0版がweb UIでも利用できるようになってきました。
拡張機能がリリースされ、モデルも出揃ってきたという状況です。

ただ、モデルが若干ややこしいと言えます。
現時点では、以下のSDXL 1.0版モデルが公開されています。

diffusers_xl_canny_full.safetensors
diffusers_xl_canny_mid.safetensors
diffusers_xl_canny_small.safetensors
diffusers_xl_depth_full.safetensors
diffusers_xl_depth_mid.safetensors
diffusers_xl_depth_small.safetensors
ip-adapter_xl.pth
kohya_controllllite_xl_depth_anime.safetensors
kohya_controllllite_xl_canny_anime.safetensors
kohya_controllllite_xl_scribble_anime.safetensors
kohya_controllllite_xl_openpose_anime.safetensors
kohya_controllllite_xl_openpose_anime_v2.safetensors
sai_xl_canny_128lora.safetensors
sai_xl_canny_256lora.safetensors
sai_xl_depth_128lora.safetensors
sai_xl_depth_256lora.safetensors
sai_xl_recolor_128lora.safetensors
sai_xl_recolor_256lora.safetensors
sai_xl_sketch_128lora.safetensors
sai_xl_sketch_256lora.safetensors
sargezt_xl_depth.safetensors
sargezt_xl_depth_faid_vidit.safetensors
sargezt_xl_depth_zeed.safetensors
sargezt_xl_softedge.safetensors
t2i-adapter_xl_canny.safetensors
t2i-adapter_xl_openpose.safetensors
t2i-adapter_xl_sketch.safetensors
thibaud_xl_openpose.safetensors
thibaud_xl_openpose_256lora.safetensors

数が多すぎて、何がなんだかわからないかもしれません。
一応、全部web UIで利用可能です。

例えば、「Depth」であれば次の中から選択することになります。

選択肢が多すぎて、逆に困るぐらいです。
ControlNetのモデルでも、競争が激しいと言えます。

利用する側からすると、質の高いモデルを選べるのはありがたいことです。
まずは、このような状況であることを認識しておきましょう。

以上、SDXL 1.0版ControlNetについて説明しました。
次は、SDXL 1.0版ControlNetのインストールを説明します。

SDXL 1.0版ControlNetのインストール

AUTOMATIC1111版web UIでの利用を前提とします。

web UIは、v1.6.0以降を利用しましょう。

SDXL 1.0へ正式対応した拡張機能が、v1.6.0以降をシステム要件としています。

現時点（2023年9月5日）であれば、以下がsd-webui-controlnetの最新バージョンとなります。
最新版の拡張機能をインストールしましょう。

これで、SDXL 1.0版ControlNetを利用できる準備は整いました。
あとは、モデルをダウンロードしましょう。

モデルは、以下にまとめられています。

lllyasviel/sd_control_collection at main

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

とりあえず、以下をダウンロードします。
動作確認を行うために用います。

以上、SDXL 1.0版ControlNetのインストールを説明しました。
次は、SDXL 1.0版ControlNetの動作確認を説明します。

SDXL 1.0版ControlNetの動作確認

以下のページで各モデルについて詳しく解説してくれています。
https://github.com/Mikubill/sd-webui-controlnet/discussions/2039

「Using Control-LoRAs」を試します。
以下のとおりに設定を行います。

a dog on grass, photo, high quality
Negative prompt: drawing, anime, low quality, distortion
Steps: 30, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 114514, Size: 1024x1024, Model hash: e6bb9ea85b, Model: sd_xl_base_1.0_0.9vae, RNG: CPU, ControlNet 0: "Module: none, Model: sai_xl_depth_256lora [73ad23d1], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced", SGM noise multiplier: True, Version: v1.6.0-RC-54-g84d41e49

同じような犬の画像を生成できました。