【Stable Diffusion】謎のモデルによるアート写真画像の生成

「シンプルなプロンプトで簡単に綺麗な画像を生成したい」
「アート写真のような画像を簡単に作成したい」

このような場合には、photorealistic-fuen-v1がオススメです。
この記事では、photorealistic-fuen-v1について解説しています。

本記事の内容

photorealistic-fuen-v1とは？
photorealistic-fuen-v1の利用方法
photorealistic-fuen-v1の動作検証

それでは、上記に沿って解説していきます。

photorealistic-fuen-v1とは？

アート写真のような画像だと思いませんか？
そこまで言わなくても、単純にハイレベルな画像ではないでしょうか？

馬の画像以外は、「cyber city」「forest」「river」だけで生成しています。
ゴチャゴチャと呪文のようにプロンプトを長くする必要がありません。
それでいて、これだけの綺麗な画像を作成できるのです。

こんなことを簡単にできるのが、photorealistic-fuen-v1というモデルになります。
photorealistic-fuen-v1は、Stable Diffusion v1.5をベースにファインチューニングされています。

公式ページは、Hugging Face上に次のページがあります。

claudfuen/photorealistic-fuen-v1 · Hugging Face
https://huggingface.co/claudfuen/photorealistic-fuen-v1

しかし、現時点では何も説明がありません。
それなのに、ダウンロード数が3万オーバーです。

「photorealistic-fuen」をGoogleやTwitterで検索しても、それらしきモノは何も出てきません。

また、Redditでも何もヒットしない状況です。

つまり、謎のモデルと言えます。
ただ、モデル所有者のTwitterアカウントがHugging Face上で登録されていました。

どうやら、この方は次のサービスの創設者らしいです。
プロフィールに記載されています。

Noonshot: Launch an NFT shop in minutes.
https://www.noonshot.com/

サービス内容は、日本語だと以下となります。

コード不要で数分でカスタムWeb3サイト/ショップを立ち上げられます。
競合他社に差をつけましょう。NFTの販売、プライベートマーケットプレイスの開設、トークンゲートページの構築など。

しかし、サービスの利用が現段階ではできません。
順番待ちしないとダメとのことです。

したがって、現状ではこれ以上の情報はありません。
今後は、情報が出てくるかもしれません。

ここからは、完全に仮説です。
photorealistic-fuen-v1は、Noonshotというサービス内でのみ情報があるのかもしれません。

NFTを販売できるようなことが記載されていました。
このことから、NFT作成支援のためにphotorealistic-fuen-v1が配布されている可能性が考えられます。

Hugging Face上に設置してあるのは、Diffusersで簡単に利用できるからという理由です。
これもあくまで推測に過ぎません。

以上、photorealistic-fuen-v1について説明しました。
次は、photorealistic-fuen-v1の利用方法を説明します。

photorealistic-fuen-v1の利用方法

Stable Diffusionを動かせる環境が、必要です。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

Stable Diffusionが動くなら、次のコードでphotorealistic-fuen-v1を利用できます。

from diffusers import StableDiffusionPipeline
import torch

model_id = "claudfuen/photorealistic-fuen-v1"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "<fuenPhoto> animal in the jungle"
image = pipe(prompt).images[0]

image.save("./test.png")

ポイントは、「 <fuenPhoto> 」をプロンプトに含むことです。

初めてphotorealistic-fuen-v1を利用する場合は、モデルのダウンロードが始まります。
そのファイル容量は、全部で3.97GBほどです。

上記コードを実行すると、test.pngが作成されます。

test.png