「ckptをモデルとして読み込む方法がわからない・・・」
「Hentai DiffusionをDiffusersで利用したい」
このような場合には、この記事の内容が参考になります。
この記事では、Hentai Diffusion 17を使う方法を解説しています。
本記事の内容
- Hentai Diffusion 17とは？
- Hentai Diffusion 17の利用方法
- Hentai Diffusion 17の動作検証
それでは、上記に沿って解説していきます。
Hentai Diffusion 17とは？
Hentai Diffusion 17は、次のモデルの最新（2022年11月末時点）バージョンです。
このバージョンは、以前のバージョンよりもできることが増えています。
詳細は、次のページで確認できます。
GitHub – Delcos/Hentai-Diffusion: The official place for the best A.I.
https://github.com/Delcos/Hentai-Diffusion
カメラのアングルが、大幅に改善されています。
| from above | from below | from side | from behind |
また、img2imgでも大きく機能改善していると記載されています。
このim2imgにおける機能改善については、時間を設けて検証してみたいと思います。
以上、Hentai Diffusion 17について説明しました。
次は、Hentai Diffusion 17の利用方法を説明します。
Hentai Diffusion 17の利用方法
Stable Diffusionを動かせる環境が、大前提となります。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。
ここでは、AUTOMATIC1111のようなツールからの利用は対象外です。
Diffusersからの利用が対象になります。
Hentai Diffusion 17は、次のページからダウンロード可能です。
Deltaadams/HentaiDiffusion at main
https://huggingface.co/Deltaadams/HentaiDiffusion/tree/main
「HD-17.ckpt」をダウンロードします。
ファイルがダウンロードできたら、次はDiffusersから利用できるように変換しましょう。
ckptファイルをDiffusersで利用するための方法は、次の記事で解説しています。
「HD-17.ckpt」を変換すると、次のように展開されます。
「model」ディレクトリの下に設置しているとします。
ここまで準備できたら、次のコードを試しましょう。
import torch
from diffusers import StableDiffusionPipeline
from torch import autocast
MODEL_PATH = "./model/hd17"
DEVICE = "cuda"
pipe = StableDiffusionPipeline.from_pretrained(MODEL_PATH, torch_dtype=torch.float16)
pipe.to(DEVICE)
prompt = "cute girl with pink hair | | very very anime!!!, fine - face, symmetry face, fine details. anime. realistic shaded lighting poster by sakimichan, kidmo, trending on pixiv, magali villeneuve, artgerm, jeremy lipkin and michael garmash and rob rey"
# ＝＝＝＝ここから＝＝＝＝
def null_safety(images, **kwargs):
return images, False
pipe.safety_checker = null_safety
# ＝＝＝＝ここまで＝＝＝＝
with autocast(DEVICE):
image = pipe(prompt, guidance_scale=7.5).images[0]
image.save("test.png")
上記コードを実行すると、次のような画像が生成されます。
test.png
上記コードでは、ネガティブプロンプトを指定していません。
それでこの質の画像を生成できています。
なお、Hentai Diffusion 17ではネガティブプロンプトが用意されています。
ネガティブプロンプトは、ここから取得可能です。
ネガティブプロンプトありで上記コードを実行すると、次のような画像が生成されるようになります。
以上、Hentai Diffusion 17の利用方法を説明しました。
次は、Hentai Diffusion 17の動作検証を説明します。
Hentai Diffusion 17の動作検証
プロンプトに「best quality, {{{masterpiece}}},」を含めた場合、一気に画質がアップします。
もちろん、ネガティブプロンプトありです。
"best quality, {{{masterpiece}}}, 1girl, leaf hair, black turtleneck, autumn background, a short white skirt, standing"
このプロンプトで、つぎのような画像を生成できます。
画像を上げたい場合は、VAEを利用します。
VAEを利用すれば、次のような画像が生成されるようになります。
VAEについては、次の記事で説明しています。
VAEを使って、ここまで変化するモデルも珍しいです。
パッと見たら、背景が実写かと思うほどに変化しています。
以上、Hentai Diffusion 17の動作検証を説明しました。
