【Stable Diffusion】サイバーパンクのアニメキャラ画像を作成するモデル

「サイバーパンクエッジランナーズ風のキャラキター画像を作成したい」
「Stable Diffusionでファインチューニングされたモデルを利用したい」

このような場合には、Cyberpunk Anime Diffusionがオススメです。
この記事では、Cyberpunk Anime Diffusionを用いた画像生成について解説しています。

本記事の内容

Cyberpunk Anime Diffusionとは？
Cyberpunk Anime Diffusionの利用方法
Cyberpunk Anime Diffusionの動作検証

それでは、上記に沿って解説していきます。

Cyberpunk Anime Diffusionとは？

Cyberpunk Anime Diffusionとは、サイバーパンクのアニメキャラ画像が作成できるモデルです。
Waifu Diffusion V1.3をベースにして、DreamBoothを使って学習したモデルになっています。

Waifu Diffusionについては、次の記事で説明しています。

DreamBoothについては、次の記事で解説しています。

次の画像は、Cyberpunk Anime Diffusionを利用して生成した例です。

サイバーパンクエッジランナーズという感じがよく出ています。
アニメを知らなくても、サイバーパンク2077をプレイした人には雰囲気がわかるモノとなっています。

個人的には、このモデルを使って「キアヌ・リーブス」がどう表現されるのかに興味があります。
実際、そのためだけにこのモデルを検証するような形です。

以上、Cyberpunk Anime Diffusionを説明しました。
次は、Cyberpunk Anime Diffusionの利用方法を説明します。

Cyberpunk Anime Diffusionの利用方法

Stable Diffusionを動かせる環境が、必要です。
Google Colabではなくローカル環境で動かす場合は、次の記事が参考になります。

Stable Diffusionが動くなら、公式に載っているコードでCyberpunk Anime Diffusionを利用できます。

#!pip install diffusers transformers scipy torch
from diffusers import StableDiffusionPipeline
import torch

model_id = "DGSpitzer/Cyberpunk-Anime-Diffusion"
pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float16)
pipe = pipe.to("cuda")

prompt = "a beautiful perfect face girl in dgs illustration style, Anime fine details portrait of school girl in front of modern tokyo city landscape on the background deep bokeh, anime masterpiece, 8k, sharp high quality anime"
image = pipe(prompt).images[0]

image.save("./cyberpunk_girl.png")

ポイントは、「in dgs illustration style」をプロンプトに含むことです。
それ以外は、普通にStable Diffusionを利用するのと変わりません。

また、GPUに余裕があれば、「float16」は「float32」でもよいでしょう。

初めてCyberpunk Anime Diffusionを利用する場合は、モデルのダウンロードが始まります。
そのファイル容量が、全部で5.1GBほどです。

そのため、ディスク容量の空きには十分に注意しましょう。
Stable Diffusionを触るようになってから、ディスクの使用量が爆上がりです。

以上、Cyberpunk Anime Diffusionの利用方法を説明しました。
次は、Cyberpunk Anime Diffusionの動作検証を説明します。