【Stable Diffusion XL】Refinerの本領発揮！！

「今はもうRefinerを使っていない」
「Refinerを使うと画像が劣化してしまう」

このような場合には、この記事の内容が参考になります。
この記事では、Refinerが使える技術であることを解説しています。

本記事の内容

それでは、上記に沿って解説していきます。

Refinerは目玉技術になるはずだった

Stable Diffusion XL（以下 SDXL）が公開された当時、Refinerは注目された技術でした。
しかし、今ではどうでしょうか？

みなさん、Refinerを利用していますか？
私は、もうRefinerを利用していません。

今では、web UI上で簡単に利用できるようになっています。

それでも、私は利用していません。
おそらく、みなさんも同じでしょう。

なぜなら、Refinerを適用すると画像が劣化してしまうからです。
もともと、Refiner用のモデルは各モデル毎に開発されることが想定されていたようです。

上記のようにセットで配布されることが、正しい状況と言えます。
しかし、SDXLベースの各モデルにはRefiner用のモデルが用意されていないケースがほとんどです。

Refiner用のモデルには、別途トレーニングが必要になります。
つまり、別にコストが発生するわけですね。

それは、現実的ではないでしょう。
そのようなことから、Refiner用のモデルは公開されていません。

そうかと言って、SDXL 1.0 BASEをメインで利用することはありませんよね。
Stable Diffusionは、カスタムモデルこそが生命線の技術だと言えます。

そうなると、結果的にRefinerが使われないということになります。
素晴らしい技術であるのに、本当に勿体ないです。

以上、Refinerは目玉技術になるはずだったを説明しました。
次は、Refinerの復活を説明します。

残念な状況のRefinerですが、ここに来て復活しそうな感じです。
正確には、本領発揮と言った方が適切かもしれません。

まずは、以下をご覧ください。

これは、両方ともSDXL 1.0 BASEをモデルとして利用しています。
もちろん、プロンプトを含めて同じ条件で生成しています。

ただし、Refinerに設定しているモデルが異なります。
それぞれが用いているモデルは、以下のような状況です。

	Base Model	Refiner
左の画像	sd_xl_base_1.0_0.9vae.safetensors	sd_xl_refiner_1.0_0.9vae.safetensors
右の画像	sd_xl_base_1.0_0.9vae.safetensors	beautifulRealistic_v7.safetensors

なんと、右の画像ではRefinerにSD 1.5ベースのカスタムモデルを利用しているのです。
アジア系の女性を綺麗に出力できるBRAV7を用いています。

発想が、凄いですよね。
ベースがSDXL 1.0であるため、生成される画像はSDXLのレベルになります。

そこにカスタムモデル（SD 1.5）の特徴と高画質化が加わるのですからね。
技術的に興味のある方は、以下のページが参考になります。

現時点では、このようなことがこのレベルで実行できるのはFooocusのみです。
Fooocusについては、次の記事で説明しています。

また、FooocusではInpaint・Outpaintツールを利用することも可能です。

これらを試す場合は、最新のFooocusをインストールしましょう。
次のようなUIになっていれば、問題ありません。

ただし、今後機能的にもUI的にも変更される可能性はあります。
あと、アニメ画像に関しても検証はしています。

アニメ画像に関しては、実写ほどは大きな変更が確認できていません。
ただ、これは利用しているモデルやプロンプトに原因があるかもしれません。

	Base Model	Refiner
左の画像	sd_xl_base_1.0_0.9vae.safetensors	sd_xl_refiner_1.0_0.9vae.safetensors
右の画像	sd_xl_base_1.0_0.9vae.safetensors	aingdiffusion_v11.safetensors

そうは言っても、ベターな結果にはなっています。
手と瞳が、明らかに改善されています。
あと、画像全体としても画質がUPしていると言えそうです。

以上、Refinerの復活を説明しました。