【Stable Diffusion】貼り絵のような画像を作成するモデル

「貼り絵のような画像を作成したい」
「Stable Diffusionでファインチューニングされたモデルを利用したい」

このような場合には、Paper Cut modelがオススメです。
この記事では、Paper Cut modelを用いた画像生成について解説しています。

本記事の内容

Paper Cut modelとは？
Paper Cut modelの利用方法
Paper Cut modelの動作検証

それでは、上記に沿って解説していきます。

Paper Cut modelとは？

Paper Cut modelとは、Paper Cutの画像で学習させたStable Diffusion用のモデルです。
ただ、Paper Cutというモノが日本人にはイマイチ馴染みのない言葉になります。

Paper Cutは、ペーパークラフトではあります。
我々が知っているモノで近いと言えば、貼り絵です。

切り絵も近いですが、これは切り抜くことで表現を行います。
まあ、一般人からしたらその区別も良くわかりませんけどね。

貼り絵も厳密に言うと、手で紙をちぎるという前提があると言われています。
それは、それでちぎり絵と言うらしいです。

すべて、紙で表現するペーパークラフトには変わりはないでしょう。
とにかく、Paper Cut modelを利用すると次のような画像を作成可能になります。

トトロも次のように表現できます。

個人的には、数あるモデルの中でも最も楽しいモデルです。
出来上がった画像を見るのが、ワクワクします。

また、Paper Cut modelはDreamBoothで学習されたモデルとのことです。
学習に用いた画像は、たった25枚とのこと。

モデル開発者の方が、Twitterでそのように回答しています。

25 papercut images with variety, faces, full body, landscapes… trained with Dreambooth on Windows using : https://t.co/Hq4vuCObpP
— Fictiverse (@Fictiverse) November 10, 2022

DreamBoothについては、次の記事で解説しています。

DreamBoothを使うと、大量の画像が不要になります。
しかし、たった25枚程度でこれだけのモデルが作成できるのは驚きです。

この情報は、個人でモデルを作成しようとする人には貴重な情報と言えます。
25枚ぐらいなら、頑張ればすぐに集められる枚数ですからね。

以上、Paper Cut modelについて説明しました。
次は、Paper Cut modelの利用方法を説明します。

Paper Cut modelの利用方法

Stable Diffusionを動かせる環境が、大前提となります。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

Stable Diffusionが動くなら、公式に載っているコードでPaper Cut modelを利用できます。

from diffusers import StableDiffusionPipeline
import torch

model_id = "Fictiverse/Stable_Diffusion_PaperCut_Model"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "PaperCut, Totoro"
image = pipe(prompt).images[0]

image.save("totoro.png")

ポイントは、「PaperCut」をプロンプトに含むことです。
それ以外は、普通にStable Diffusionを利用するのと変わりません。

また、GPUに余裕があれば、「float16」を「float32」に変更しましょう。

初めてPaper Cut modelを利用する場合は、モデルのダウンロードが始まります。
そのファイル容量が、全部で5.1GBほどです。

そのため、ディスク容量の空きには十分に注意しましょう。
Stable Diffusionでは、画像とモデルで多くのディスク容量を利用してしまいます。

以上、Paper Cut modelの利用方法を説明しました。
次は、Paper Cut modelの動作検証を説明します。