【Stable Diffusion】ディズニー風の画像を作成するモデル

「デイズニー風の画像を作成したい」
「Stable Diffusionでファインチューニングされたモデルを利用したい」

このような場合には、Mo Di Diffusionがオススメです。
この記事では、Mo Di Diffusionを用いた画像生成について解説しています。

本記事の内容

Mo Di Diffusionとは？
Mo Di Diffusionの利用方法
Mo Di Diffusionの動作検証

それでは、上記に沿って解説していきます。

Mo Di Diffusionとは？

Mo Di Diffusionとは、デイズニー風の画像が作成できるStable Diffusionのモデルになります。
公式ページでは、ゲームキャラをディズニー風にした画像が紹介されています。

確かに、ディズニーに出てきそうなキャラに見えます。
このMo Di Diffusionは、DreamBoothを使って学習したようです。

DreamBoothについては、次の記事で説明しています。

DreamBoothを使えば、大量の画像を必要とせずにファインチューニングが可能です。
そのため、それほど大量の画像を用いずにMo Di Diffusionは作成されたと思われます。

キャラだけではなく、自動車や風景も対象にできるようです。

なお、昔懐かしいディズニーを求めている場合は次の記事をご覧ください。

以上、Mo Di Diffusionについて説明しました。
次は、Mo Di Diffusionの利用方法を説明します。

Mo Di Diffusionの利用方法

Stable Diffusionを動かせる環境が、必要です。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

Stable Diffusionが動くなら、公式に載っているコードでMo Di Diffusionを利用できます。

from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/mo-di-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a magical princess with golden hair, modern disney style"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

ポイントは、「modern disney style」をプロンプトに含むことです。
それ以外は、普通にStable Diffusionを利用するのと変わりません。

また、GPUに余裕があれば、「float16」は「float32」でもよいでしょう。

初めてMo Di Diffusionを利用する場合は、モデルのダウンロードが始まります。
そのファイル容量が、全部で5.1GBほどです。

そのため、ディスク容量の空きには十分に注意しましょう。
モデルの保存先については、Windowsの場合は次の記事内で説明しています。