【Stable Diffusion】Hentai Diffusion 17の利用方法

「ckptをモデルとして読み込む方法がわからない・・・」
「Hentai DiffusionをDiffusersで利用したい」

このような場合には、この記事の内容が参考になります。
この記事では、Hentai Diffusion 17を使う方法を解説しています。

本記事の内容

Hentai Diffusion 17とは？
Hentai Diffusion 17の利用方法
Hentai Diffusion 17の動作検証

それでは、上記に沿って解説していきます。

Hentai Diffusion 17とは？

Hentai Diffusion 17は、次のモデルの最新（2022年11月末時点）バージョンです。

このバージョンは、以前のバージョンよりもできることが増えています。
詳細は、次のページで確認できます。

GitHub – Delcos/Hentai-Diffusion: The official place for the best A.I.
https://github.com/Delcos/Hentai-Diffusion

カメラのアングルが、大幅に改善されています。

from above

from below

from side

from behind

また、img2imgでも大きく機能改善していると記載されています。
このim2imgにおける機能改善については、時間を設けて検証してみたいと思います。

以上、Hentai Diffusion 17について説明しました。
次は、Hentai Diffusion 17の利用方法を説明します。

Hentai Diffusion 17の利用方法

Stable Diffusionを動かせる環境が、大前提となります。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

ここでは、AUTOMATIC1111のようなツールからの利用は対象外です。
Diffusersからの利用が対象になります。

Hentai Diffusion 17は、次のページからダウンロード可能です。

Deltaadams/HentaiDiffusion at main
https://huggingface.co/Deltaadams/HentaiDiffusion/tree/main

「HD-17.ckpt」をダウンロードします。

ファイルがダウンロードできたら、次はDiffusersから利用できるように変換しましょう。
ckptファイルをDiffusersで利用するための方法は、次の記事で解説しています。

「HD-17.ckpt」を変換すると、次のように展開されます。
「model」ディレクトリの下に設置しているとします。

ここまで準備できたら、次のコードを試しましょう。

import torch
from diffusers import StableDiffusionPipeline
from torch import autocast

MODEL_PATH = "./model/hd17"
DEVICE = "cuda"

pipe = StableDiffusionPipeline.from_pretrained(MODEL_PATH, torch_dtype=torch.float16)
pipe.to(DEVICE)

prompt = "cute girl with pink hair | | very very anime!!!, fine - face, symmetry face, fine details. anime. realistic shaded lighting poster by sakimichan, kidmo, trending on pixiv, magali villeneuve, artgerm, jeremy lipkin and michael garmash and rob rey"


# ＝＝＝＝ここから＝＝＝＝
def null_safety(images, **kwargs):
    return images, False


pipe.safety_checker = null_safety
# ＝＝＝＝ここまで＝＝＝＝

with autocast(DEVICE):
    image = pipe(prompt, guidance_scale=7.5).images[0]
    image.save("test.png")

上記コードを実行すると、次のような画像が生成されます。

test.png

上記コードでは、ネガティブプロンプトを指定していません。
それでこの質の画像を生成できています。

なお、Hentai Diffusion 17ではネガティブプロンプトが用意されています。
ネガティブプロンプトは、ここから取得可能です。

ネガティブプロンプトありで上記コードを実行すると、次のような画像が生成されるようになります。

以上、Hentai Diffusion 17の利用方法を説明しました。
次は、Hentai Diffusion 17の動作検証を説明します。

Hentai Diffusion 17の動作検証

プロンプトに「best quality, {{{masterpiece}}},」を含めた場合、一気に画質がアップします。
もちろん、ネガティブプロンプトありです。

"best quality, {{{masterpiece}}}, 1girl, leaf hair, black turtleneck, autumn background, a short white skirt, standing"

このプロンプトで、つぎのような画像を生成できます。

画像を上げたい場合は、VAEを利用します。
VAEを利用すれば、次のような画像が生成されるようになります。

VAEについては、次の記事で説明しています。

VAEを使って、ここまで変化するモデルも珍しいです。
パッと見たら、背景が実写かと思うほどに変化しています。

以上、Hentai Diffusion 17の動作検証を説明しました。