【Stable Diffusion】Counterfeit-V2.5の利用方法

「高品質のアニメ画像を生成したい」
「背景を綺麗に描けるモデルを探している」

このような場合には、Counterfeit-V2.5がオススメです。
この記事では、Counterfeit-V2.5について解説しています。

追記 2023年4月30日
Counterfeit-V3.0がリリースされました。

本記事の内容

Counterfeit-V2.5とは？
Counterfeit-V2.5の利用方法

それでは、上記に沿って解説していきます。

Counterfeit-V2.5とは？

Counterfeit-V2.5は、高品質のアニメを描けるモデルです。
Stable Diffusion 1.5をベースに以下の技術を用いて作成されています。

DreamBooth
Merge Block Weights（モデルのマージ）
Merge LoRA

Stable Diffusionの技術全部載せという感じですね。
特徴としては、背景を上手く描くと言われています。

プロンプトは、Civitai上のページで多く公開されています。

Counterfeit-V2.5 | Stable Diffusion Checkpoint | Civitai
https://civitai.com/models/4468/counterfeit-v25

デモ画像はもちろん、ユーザーの投稿も参考になります。

このマークをクリックすると、プロンプト情報が表示されます。

これらを参考にしていけば、プロンプトのクセがすぐに掴めるでしょう。

以上、Counterfeit-V2.5について説明しました。
次は、Counterfeit-V2.5の利用方法を説明します。

Counterfeit-V2.5の利用方法

Counterfeit-V2.5は、主に以下の環境で動かすことになるでしょう。

Stable Diffusion web UI(AUTOMATIC1111版)
Diffusers

web UIを利用する人の方が多いとは思いますけどね。
それぞれの場合について、以下で説明します。

Stable Diffusion web UI(AUTOMATIC1111版)

web UIのインストール方法を次の記事で説明しています。
OS依存のPythonを利用しない方法のため、安心してインストールできます。

この方法なら、アップデートでぶっ壊れようが問題ありません。
再度、新たにインストールすれば済みます。
また、複数バージョンのweb UIを管理することも容易です。

まずは、モデルのダウンロードから行います。
モデルのダウンロードは、公式ページから可能です。
https://huggingface.co/gsdf/Counterfeit-V2.5/tree/main

上記ページから、必要なファイルをダウンロードします。
モデルに加えて、VAEもダウンロードしましょう。

ダウンロードしたファイルの名称を変更しましょう。

Counterfeit-V2.5.vae.pt
↓
Counterfeit-V2.5_pruned.vae.pt

2つのファイル名を統一します。
そして、これらのファイルをmodels/Stable-diffusion以下に保存。

あとは、web UIを起動すれば次のようにモデルを選択できるようになっています。

Diffusers

Diffusersの場合は、VAEの変換がポイントになります。
まず、Stable Diffusionを動かせることが前提となります。

上記記事に従えば、自ずとDiffusersをインストールしています。

Counterfeit-V2.5では、Diffusers用のモデルが用意されています。
そのため、モデルの読み込みに関しては工夫する必要はありません。

しかし、VAEに関しては工夫が必要です。
まずは、以下のページからVAEをダウンロードします。

https://huggingface.co/gsdf/Counterfeit-V2.5/tree/main

ダウンロードできたら、Diffusersから読み込めるように変換しましょう。
VAEの変換方法は、次の記事で説明しています。

今回であれば、次のようなコマンドを用いました。
パスなどは、各自の環境に合わせてください。

python convert_pt_to_bin.py --checkpoint_path ..\..\ckpt\Counterfeit-V2.5.vae.pt --dump_path ..\..\model\Counterfeit_vae

上記コマンドを実行すると、次のような形に変換できます。

ここまで準備できたら、あとは次のコードを実行するだけです。

from diffusers import StableDiffusionPipeline, HeunDiscreteScheduler
from diffusers.models import AutoencoderKL

model_id = "gsdf/Counterfeit-V2.5"
vae = AutoencoderKL.from_pretrained(./model/Counterfeit_vae")

pipe = StableDiffusionPipeline.from_pretrained(model_id, vae=vae, custom_pipeline="lpw_stable_diffusion")
pipe.scheduler = HeunDiscreteScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

prompt = "((masterpiece,ultra-detailed, intricate details, best quality,illustration)),1girl, solo, highres, looking at viewer, blue eyes, black hair, long hair, side ponytail, smiling, wearing traditional Japanese clothing, hakama, uwagi, geta, holding a katana sword, in a Japanese garden, sakura tree, petals falling, shoji door, sunlight shining through, warrior pose, confident expression, heroic, strong, feminine, empowered, traditional, Japanese culture, Eastern aesthetics, elegant, beautiful, detailed, vibrant colors, high contrast, dynamic lighting, realistic textures, traditional painting style, illustration aesthetic"
negative_prompt = "(watermark),sketch, duplicate, ugly, huge eyes, text, logo, monochrome, worst face, (bad and mutated hands:1.3), (worst quality:2.0), (low quality:2.0), (blurry:2.0), horror, geometry, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), crown braid, ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, easynegative"

image = pipe(
    prompt,
    num_inference_steps=20,
    guidance_scale=10,
    width=512,
    height=512,
    max_embeddings_multiples=2,
    negative_prompt=negative_prompt
).images[0]

image.save("test.png")

通常であれば、初回時にモデルを自動的にダウンロードしてくれます。
そして、処理が上手くいくと、次のような画像が生成されます。