【Stable Diffusion】Dreamlike Photoreal 2.0

「Stable Diffusionで写真レベルの画像を生成したい」
「企業が本気で作成したモデルを利用してみたい」

このような場合には、Dreamlike Photoreal 2.0をオススメします。
この記事では、Dreamlike Photoreal 2.0について解説しています。

本記事の内容

Dreamlike Photoreal 2.0とは？
Dreamlike Photoreal 2.0の利用方法

それでは、上記に沿って解説していきます。

Dreamlike Photoreal 2.0とは？

Dreamlike Photoreal 2.0は、Stable Diffusion v1.5をファインチューニングしたモデルです。
以下のモデルの続編ということになります。
モデル名が、若干変更されたようです。

Hugging Face上の公式ページでは、次のような警告が表示されています。

NSFWコンテンツを全面に出すということでしょうか。
まあ、嫌ならネガティブプロンプトで調整すればいいだけですからね。

あとは、768 x 768サイズの画像で学習を行ったというところがポイントでしょう。
そのため、次のサイズで高画質な画像を生成できるようになったようです。

768 x 768
640 x 896
896 x 640
768 x 1024
1024 x 768

このモデルの開発元は、dreamlike.artという有償サービスを展開しています。
これは、企業が本気でモデルを作成したということなのでしょうか？

個人的には、そう思います。
実際、Dreamlike Photoreal 2.0を使って次のような画像を生成できました。

ここまで実写に近い形で生成できるモデルは、なかなか見当たりません。
と言うか、これはもう写真ですよね。

また、風景もこのレベルで生成できます。

企業が本気を出すと、ここまでできるということを証明しているように感じます。

まだまだ、時間をかけてモデルの検証をできていません。
それでも、Dreamlike Photoreal 2.0が生成する画像の質には驚かされます。

なお、Dreamlike Photoreal 2.0は手の描画も上手くやってくれます。
手も込みで描かれた画像については、ここから確認できます。

以上、Dreamlike Photoreal 2.0について説明しました。
次は、Dreamlike Photoreal 2.0の利用方法を説明します。

Dreamlike Photoreal 2.0の利用方法

Stable Diffusionを動かせる環境が、大前提となります。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

上記記事に従えば、自ずとDiffusersをインストールすることになります。

この記事では、Diffusersでの利用を対象としています。
Stable Diffusion web UI(AUTOMATIC1111版)だと、ファイルを設置するだけです。

次のページから、checkpointをダウンロードできます。
https://huggingface.co/dreamlike-art/dreamlike-photoreal-2.0

Diffusersの場合は、次のコードを実行します。

from diffusers import StableDiffusionPipeline
import torch

model_id = "dreamlike-art/dreamlike-photoreal-2.0"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "photo, a church in the middle of a field of crops, bright cinematic lighting, gopro, fisheye lens"
image = pipe(prompt).images[0]

image.save("./result.jpg")

上記コードを実行すると、初回時にモデルを自動的にダウンロードします。
モデルの容量は、約3.97GBです。

そして、次のような画像が作成されます。
サイズを指定しないと、768 x 768のサイズとなります。