【Flux】WebUI Forgeによる高速画像生成

WebUI（Forge版）でFluxが動くようになりました。
それに6GB/8GBのGPUでも動くようになっています。

Fluxとは？

Fluxは、Black Forest Labsが開発した最先端のテキストから画像を生成するAIモデルです。
Fluxには、3つのバリエーションが存在しています。

FLUX.1 [dev]であっても、十分に高性能です。
どれくらい高性能かと言うと、次のベンチマークをご覧ください。

なんと、有料版のSD3-UltraよりもFLUX.1 [dev]の方が優れているのです。
ただ、FLUX.1 [dev]は個人のPCではまともに動きませんでした。

FLUX.1 [schnell]が、GPUメモリ24GBでなんとか動くというような感じです。
ローカル環境で試したところ、1枚の画像生成に144秒の時間がかかります。

正直、これでは使い物になりません。

そんな中、Forge版がFLUX.1 [dev]に対応しました。
かつ、低GPUでも動くといういうことです。

そのための工夫として、ForgeではBitsandBytesという技術が用いられています。
これは主に大規模言語モデル（LLM）で使用されている標準的な技術です。

Forgeの開発者（lllyasviel氏）によると、BitsandBytesを画像生成AIに適用したとのこと。
このことは、画像生成の分野では初めての事例になるということです。

そのおかげで、FLUX.1 [dev]をローカルマシンでも動かすことができるようになりました。

それまでは、FLUX.1 [schnell]ですら144秒かかっていいました。
それが、FLUX.1 [dev]を29秒で動かせるのです。

では、どうすればWebUI ForgeでFLUXを動かすことができるのでしょうか？
まずは、最新版Forgeをインストールしましょう。

アップデートするより、新規でインストールした方がトラブルは少ないと思います。
次に、モデルのダウンロードです。

モデルは、BitsandBytesで量子化されたモノをダウンロードする必要があります。
もちろん、lllyasviel氏がそれを用意してくれています。

NF4の方が、開発者によって推奨されています。
不思議なことにFP8よりもNF4の方が、精度が高いということです。

その辺りの説明は、lllyasviel氏自身が説明しています。

ただし、NF4はCUDA 11.7以降のサポートが必要になります。
RTX 3XXX/4XXX GPUであれば、問題はないということです。

GTX 10XX/RTX 20XXのGPUの場合は、FP8をダウンロードすることになります。
この点には、注意が必要です。

あとは、利用する際の設定に注意することでしょうか。

このような設定にして、普通に画像生成を行えば問題はありません。