高品質・高精細なアニメ画像を生成できるPastel Mixの利用方法

「高品質・高精細なアニメ画像を作成したい」
「長い呪文は書きたくない（管理できない）」

このような場合には、Pastel Mixがオススメです。
この記事では、Pastel Mixについて解説しています。

本記事の内容

Pastel Mixとは？
Pastel Mixの利用方法

それでは、上記に沿って解説していきます。

Pastel Mixとは？

Pastel Mixは、高品質・高精細なアニメ画像を生成できるモデルです。
わずかなプロンプトで高品質・高精細なアニメ画像を生成することが可能になっています。

Pastel Mixは、以下のモデルをマージして作成されています。

dpepmkmp
Tea
basil-mix

そして、そのマージされたモデルに以下のLoRAが適用されています。

Magic LORA
Jordan_3
sttabi_v1.4-04
xlimo768
dpep 2 768

LoRAについては、次の記事で説明しています。

LoRAは、DreamBoothやTextual Inversionのような追加学習になります。
ファイルサイズが小さくて、柔軟性のあるファインチューニングと言えます。

このようにして、Pastel Mixは名前の通りいろいろとミックスして作成されています。

以上、Pastel Mixについて説明しました。
次は、Pastel Mixの利用方法を説明します。

Pastel Mixの利用方法

利用方法については、それぞれの環境で異なります。

Stable Diffusion web UI(AUTOMATIC1111版)
Diffusers

それぞれの場合について、以下で説明します。

Stable Diffusion web UI(AUTOMATIC1111版)

OS環境を汚さずに、web UIのインストールができる方法を次の記事で説明しています。
LinuxでもWindowsでも、macOSでも何でもOKです。

まずは、Hugging Face上の公式ページからceckpointをダウンロードします。https://huggingface.co/andite/pastel-mix/tree/main

各自の環境に合わせたモノをダウンロードしましょう。
よくわからない場合は、「pastelmix.safetensors」をダウンロードします。

あと、VAEが用意されています。
別途用意されている場合は、利用した方がよいと言えます。

そのため、「pastel-waifu-diffusion.vae.pt」もダウンロードしておきます。
VAEがダウンロードできたら、次のようにファイル名を変更します。
「pastelmix.vae.pt」

指定のディレクトリ（stable-diffusion-webui/models/Stable-diffusion）にそれぞれのファイルを設置します。

この状態で、web UIを起動するとコンソールには次のように表示されます。

Loading weights [fa818fcf2c] from ～\stable-diffusion-webui\models\Stable-diffusion\pastelmix.safetensors 
Loading VAE weights found near the checkpoint: ～\stable-diffusion-webui\models\Stable-diffusion\pastelmix.vae.pt

web UIの起動後、以下のようにcheckpointを選択します。

これで、VAEの効果ありでPastel Mixを利用することになります。
では、実際に次のプロンプトで試してみましょう。

masterpiece, best quality, 1girl

確かに、短いプロンプトで高画質・高精細な画像が生成されますね。

Diffusers

Diffusersの場合は、VAEの読み込みで少し工夫が必要となります。
まずは、Stable Diffusionを動かせることが前提となります。

上記記事に従えば、自ずとDiffusersをインストールします。

次は、VAEを用意しましょう。
VAEは、次のページから「pastel-waifu-diffusion.vae.pt」をダウンロードします。
https://huggingface.co/andite/pastel-mix/tree/main

ptファイルのままだと、DiffusersではVAEとして利用できません。
そのため、DiffusersでVAEとして利用できるようにptファイルを変換します。

その方法は、次の記事で解説しています。
記事通りにやれば、問題なく変換できます。

上記記事を参考にして、次のコマンドで変換しています。
パスについては、各自の環境に合わせてください。

python convert_pt_to_bin.py  --checkpoint_path ..\..\ckpt\pastel-waifu-diffusion.vae.pt --dump_path ..\..\model\pastel_vae

上記コマンドを実行すると、次のような形に変換できます。

ここまで準備できたら、あとは次のコードを実行するだけです。

from diffusers import StableDiffusionPipeline, EulerAncestralDiscreteScheduler
from diffusers.models import AutoencoderKL

model_id = "andite/pastel-mix"

vae = AutoencoderKL.from_pretrained("./model/pastel_vae")
pipe = StableDiffusionPipeline.from_pretrained(model_id, vae=vae)
pipe.scheduler = EulerAncestralDiscreteScheduler.from_config(pipe.scheduler.config)
pipe = pipe.to("cuda")

prompt = "masterpiece, best quality, 1girl"
negative_prompt = "(((deformed))), blurry, bad anatomy, disfigured, poorly drawn face, mutation, mutated, (extra_limb), (ugly), (poorly drawn hands), fused fingers, messy drawing, broken legs censor, censored, censor_bar, multiple breasts, (mutated hands and fingers:1.5), (long body :1.3), (mutation, poorly drawn :1.2), black-white, bad anatomy, liquid body, liquidtongue, disfigured, malformed, mutated, anatomical nonsense, text font ui, error, malformed hands, long neck, blurred, lowers, low res, bad anatomy, bad proportions, bad shadow, uncoordinated body, unnatural body, fused breasts, bad breasts, huge breasts, poorly drawn breasts, extra breasts, liquid breasts, heavy breasts, missingbreasts, huge haunch, huge thighs, huge calf, bad hands, fused hand, missing hand, disappearing arms, disappearing thigh, disappearing calf, disappearing legs, fusedears, bad ears, poorly drawn ears, extra ears, liquid ears, heavy ears, missing ears, fused animal ears, bad animal ears, poorly drawn animal ears, extra animal ears, liquidanimal ears, heavy animal ears, missing animal ears, text, ui, error, missing fingers, missing limb, fused fingers, one hand with more than 5 fingers, one hand with less than5 fingers, one hand with more than 5 digit, one hand with less than 5 digit, extra digit, fewer digits, fused digit, missing digit, bad digit, liquid digit, colorful tongue, blacktongue, cropped, watermark, username, blurry, JPEG artifacts, signature, 3D, 3D game, 3D game scene, 3D character, malformed feet, extra feet, bad feet, poorly drawnfeet, fused feet, missing feet, extra shoes, bad shoes, fused shoes, more than two shoes, poorly drawn shoes, bad gloves, poorly drawn gloves, fused gloves, bad cum, poorly drawn cum, fused cum, bad hairs, poorly drawn hairs, fused hairs, big muscles, ugly, bad face, fused face, poorly drawn face, cloned face, big face, long face, badeyes, fused eyes poorly drawn eyes, extra eyes, malformed limbs, more than 2 nipples, missing nipples, different nipples, fused nipples, bad nipples, poorly drawnnipples, black nipples, colorful nipples, gross proportions. short arm, (((missing arms))), missing thighs, missing calf, missing legs, mutation, duplicate, morbid, mutilated, poorly drawn hands, more than 1 left hand, more than 1 right hand, deformed, (blurry), disfigured, missing legs, extra arms, extra thighs, more than 2 thighs, extra calf,fused calf, extra legs, bad knee, extra knee, more than 2 legs, bad tails, bad mouth, fused mouth, poorly drawn mouth, bad tongue, tongue within mouth, too longtongue, black tongue, big mouth, cracked mouth, bad mouth, dirty face, dirty teeth, dirty pantie, fused pantie, poorly drawn pantie, fused cloth, poorly drawn cloth, badpantie, yellow teeth, thick lips, bad camel toe, colorful camel toe, bad asshole, poorly drawn asshole, fused asshole, missing asshole, bad anus, bad pussy, bad crotch, badcrotch seam, fused anus, fused pussy, fused anus, fused crotch, poorly drawn crotch, fused seam, poorly drawn anus, poorly drawn pussy, poorly drawn crotch, poorlydrawn crotch seam, bad thigh gap, missing thigh gap, fused thigh gap, liquid thigh gap, poorly drawn thigh gap, poorly drawn anus, bad collarbone, fused collarbone, missing collarbone, liquid collarbone, strong girl, obesity, worst quality, low quality, normal quality, liquid tentacles, bad tentacles, poorly drawn tentacles, split tentacles, fused tentacles, missing clit, bad clit, fused clit, colorful clit, black clit, liquid clit, QR code, bar code, censored, safety panties, safety knickers, beard, furry, pony, pubic hair, mosaic, futa, testis, (((deformed))), blurry, bad anatomy, disfigured, poorly drawn face, mutation, mutated, (extra_limb), (ugly), (poorly drawn hands), fused fingers, messy drawing, broken legs censor, censored, censor_bar, multiple breasts, (mutated hands and fingers:1.5), (long body :1.3), (mutation, poorly drawn :1.2), black-white, bad anatomy, liquid body, liquidtongue, disfigured, malformed, mutated, anatomical nonsense, text font ui, error, malformed hands, long neck, blurred, lowers, low res, bad anatomy, bad proportions, bad shadow, uncoordinated body, unnatural body, fused breasts, bad breasts, huge breasts, poorly drawn breasts, extra breasts, liquid breasts, heavy breasts, missingbreasts, huge haunch, huge thighs, huge calf, bad hands, fused hand, missing hand, disappearing arms, disappearing thigh, disappearing calf, disappearing legs, fusedears, bad ears, poorly drawn ears, extra ears, liquid ears, heavy ears, missing ears, fused animal ears, bad animal ears, poorly drawn animal ears, extra animal ears, liquidanimal ears, heavy animal ears, missing animal ears, text, ui, error, missing fingers, missing limb, fused fingers, one hand with more than 5 fingers, one hand with less than5 fingers, one hand with more than 5 digit, one hand with less than 5 digit, extra digit, fewer digits, fused digit, missing digit, bad digit, liquid digit, colorful tongue, blacktongue, cropped, watermark, username, blurry, JPEG artifacts, signature, 3D, 3D game, 3D game scene, 3D character, malformed feet, extra feet, bad feet, poorly drawnfeet, fused feet, missing feet, extra shoes, bad shoes, fused shoes, more than two shoes, poorly drawn shoes, bad gloves, poorly drawn gloves, fused gloves, bad cum, poorly drawn cum, fused cum, bad hairs, poorly drawn hairs, fused hairs, big muscles, ugly, bad face, fused face, poorly drawn face, cloned face, big face, long face, badeyes, fused eyes poorly drawn eyes, extra eyes, malformed limbs, more than 2 nipples, missing nipples, different nipples, fused nipples, bad nipples, poorly drawnnipples, black nipples, colorful nipples, gross proportions. short arm, (((missing arms))), missing thighs, missing calf, missing legs, mutation, duplicate, morbid, mutilated, poorly drawn hands, more than 1 left hand, more than 1 right hand, deformed, (blurry), disfigured, missing legs, extra arms, extra thighs, more than 2 thighs, extra calf,fused calf, extra legs, bad knee, extra knee, more than 2 legs, bad tails, bad mouth, fused mouth, poorly drawn mouth, bad tongue, tongue within mouth, too longtongue, black tongue, big mouth, cracked mouth, bad mouth, dirty face, dirty teeth, dirty pantie, fused pantie, poorly drawn pantie, fused cloth, poorly drawn cloth, badpantie, yellow teeth, thick lips, bad camel toe, colorful camel toe, bad asshole, poorly drawn asshole, fused asshole, missing asshole, bad anus, bad pussy, bad crotch, badcrotch seam, fused anus, fused pussy, fused anus, fused crotch, poorly drawn crotch, fused seam, poorly drawn anus, poorly drawn pussy, poorly drawn crotch, poorlydrawn crotch seam, bad thigh gap, missing thigh gap, fused thigh gap, liquid thigh gap, poorly drawn thigh gap, poorly drawn anus, bad collarbone, fused collarbone, missing collarbone, liquid collarbone, strong girl, obesity, worst quality, low quality, normal quality, liquid tentacles, bad tentacles, poorly drawn tentacles, split tentacles, fused tentacles, missing clit, bad clit, fused clit, colorful clit, black clit, liquid clit, QR code, bar code, censored, safety panties, safety knickers, beard, furry, pony, pubic hair, mosaic, futa, testis"

image = pipe(
    prompt,
    num_inference_steps=40,
    guidance_scale=11.5,
    width=512,
    height=768,
    negative_prompt=negative_prompt
).images[0]

image.save("test.png")

上記コードを実行すると、初回時にはモデルのダウンロードが始まります。
処理が完了すると、次のような画像が生成されます。