【Stable Diffusion】昔のディズニー風の画像を作成するモデル

「昔のデイズニー風の画像を作成したい」
「Stable Diffusionでファインチューニングされたモデルを利用したい」

このような場合には、Classic Animation Diffusionがオススメです。
この記事では、Classic Animation Diffusionを用いた画像生成について解説しています。

本記事の内容

Classic Animation Diffusionとは？
Classic Animation Diffusionの利用方法
Classic Animation Diffusionの動作検証

それでは、上記に沿って解説していきます。

Classic Animation Diffusionとは？

Classic Animation Diffusionとは、昔のデイズニー風の画像が作成できるStable Diffusionのモデルになります。
公式ページでは、ゲームキャラを昔のディズニー風にした画像が紹介されています。

ディズニーと言えば、こちらの方が印象に残っていますね。
確かに、ピクサー以降は映画自体をそもそもそんなに見ていません。

だから、印象に残っているのはこのような昔ながらのディズニー画像になります。
これらの画像を生成するClassic Animation Diffusionは、DreamBoothで学習されています。

DreamBoothについては、次の記事で説明しています。

DreamBoothを使えば、大量の画像を用いずにファインチューニングが可能です。
そのため、Classic Animation Diffusionにも大量の画像は用いられていないでしょう。

また、Classic Animation Diffusionは風景や乗り物にも適用可能です。

なお、ピクサー色が強いディズニー風の画像生成については次の記事で説明しています。

以上、Classic Animation Diffusionについて説明しました。
次は、Classic Animation Diffusionの利用方法を説明します。

Classic Animation Diffusionの利用方法

Stable Diffusionを動かせる環境が、必要です。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

Stable Diffusionが動くなら、公式に載っているコードでClassic Animation Diffusionを利用できます。

from diffusers import StableDiffusionPipeline
import torch

model_id = "nitrosocke/classic-anim-diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "classic disney style magical princess with golden hair"
image = pipe(prompt).images[0]

image.save("./magical_princess.png")

ポイントは、「classic disney style」をプロンプトに含むことです。
それ以外は、普通にStable Diffusionを利用するのと変わりません。

また、GPUに余裕があれば、「float16」を「float32」に変更してもよいでしょう。

初めてClassic Animation Diffusionを利用する場合は、モデルのダウンロードが始まります。
そのファイル容量が、全部で5.1GBほどです。

そのため、ディスク容量の空きには十分に注意しましょう。
Stable Diffusionでは、画像とモデルで多くのディスク容量を利用してしまいます。

以上、Classic Animation Diffusionの利用方法を説明しました。
次は、Classic Animation Diffusionの動作検証を説明します。