SDXL-Lightning: 高速画像生成の未来への入門

SDXL-Lightningが変革をもたらします。
このモデルは画像生成の速度を飛躍的に向上させ、クリエイティブな可能性を広げています。

しかし、その機能や設定方法は一見複雑に思えるかもしれません。
そこで、この記事ではSDXL-Lightningの基本から、インストール方法、動作確認の手順までを簡潔に解説します。

本記事の内容

それでは、上記に沿って解説していきます。

SDXL-Lightningとは？

SDXL-LightningモデルはByteDanceによって開発されました。
これは、テキストから画像への変換を極めて高速に行うことができる最先端の生成モデルです。

このモデルは、特に高品質な画像生成に重点を置いており、
1024pxの解像度での画像生成において顕著な性能を発揮します。

以下の論文において、このモデルの技術的な詳細や成果が詳述されています。
https://arxiv.org/abs/2402.13929

このモデルは、stabilityaiのstable-diffusion-xl-base-1.0を基にした蒸留技術を使用しています。
1ステップ、2ステップ、4ステップ、8ステップの異なる蒸留段階のモデルを提供しています。

これらのモデルは、生成品質と速度のバランスを取りながら、
さまざまな用途に適応できるように設計されています。

特に、2ステップ以降のモデルでは、品質と生成速度の両方で顕著な結果を達成しているとのことです。
確かに、1ステップ以外は高品質と言えます。

左から、1ステップ、2ステップ、4ステップ、8ステップで生成しています。

速度的には、実際に触るのが最も早いです。

このデモにおいて、各ステップを試すことができます。

公式ページでは、コードが公開されています。
https://huggingface.co/ByteDance/SDXL-Lightning

それよりも、デモを手元にダウンロードした方がよいでしょう。
何と言っても、GUIで操作できますからね。

ということで、デモをダウンロードします。

git clone https://huggingface.co/spaces/AP123/SDXL-Lightning
cd SDXL-Lightning

そして、リポジトリルートに移動しておきます。
ここで以下のファイルを確認できます。

requirements.txt

transformers
diffusers
torch
accelerate
gradio

Windowsの場合は、PyTorchをコメントアウト。

#torch

そして、自分でGPU版PyTorchをインストールします。

最新版のGPU版PyTorchは以下のコマンドでインストール可能です。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

PyTorchがインストールできたら、他のライブラリを一括でインストールします。

pip install -r requirements.txt

ツールの起動は、以下のコマンドとなります。

python app.py

実行する前に、app.pyにおいて2か所を修正します。
それぞれをコメントにするだけです。

ダウンロードしたコードは、Hugging FaceのSpaces上で動く前提となっています。
そのため、それ以外の環境で動くようにする必要があります。

app.pyを修正できたら、次のコマンドで起動します。

python app.py

正常に起動できたら、コンソールに次のように表示されます。

Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

ブラウザで「http://127.0.0.1:7860」にアクセスします。
次の画面を確認できるはずです。

各ステップ毎にモデルをダウンロードする必要があります。
各ステップの初回起動時に自動的にダウンロードが実施されます。

1モデルで5GBの容量があります。
全部ダウンロードしたら、20GBとなります。

そのため、ディスク容量には注意が必要です。