スケッチをリアルイメージ化！LCM魔法のキャンバスで

「flowty-realtime-lcm-canvas」は、スケッチをリアルタイムで画像に変換するツールです。
この技術はアートとテクノロジーの融合を示しています。

ユーザーが描いたスケッチがすぐに画像になります。
これはアーティストやデザイナーにとって革命的です。

教育やエンターテインメントにも影響を与える可能性があります。

本記事の内容

それでは、上記に沿って解説していきます。

flowty-realtime-lcm-canvasのテクノロジー

このプロジェクトの核となるのは、LCMとgradioライブラリの組み合わせです。
LCMは深層学習に基づくモデルです。
特定の条件に基づいて画像を生成します。

一方、gradioライブラリは、LCMの能力を簡単かつ効果的にアクセスできるユーザーインターフェイスを提供します。

LCMは、ユーザーが提供したスケッチや条件に基づいて、リアルタイムで画像を生成できます。
AIがユーザーの入力を解釈し、それに基づいて画像を作成します。

これは、クリエイティブな作品の生成を支援します。
この対話型のプロセスは、アーティストが新しいアイデアを探求、実験するためのツールとなりえます。

また、gradioライブラリは、この複雑な技術を使いやすく、アクセスしやすい形で提供します。
ユーザーは、簡単にこの技術を活用し、自分のクリエイティブなビジョンを実現できます。

このアクセシビリティは、多くの人にデジタルアートの世界への入り口を提供します。

flowty-realtime-lcm-canvasは、先進的なAI技術とユーザーフレンドリーなインターフェイスを組み合わせています。
大袈裟かもしれませんが、アートとテクノロジーの新しい可能性を探るプラットフォームだと言えます。

Python仮想環境の利用をオススメします。

そして、事前にPyTorchをインストールしておきましょう。

今回は、以下のコマンドでPyTorchをインストールしています。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

では、本体をダウンロードしましょう。

git clone https://github.com/flowtyone/flowty-realtime-lcm-canvas.git
cd flowty-realtime-lcm-canvas

ダウンロードしたら、リポジトリルートに移動します。
念のため、requirements.txtを確認しておきます。

requirements.txt

diffusers
flask
torch
transformers
accelerate
pillow
gradio==3.41.2

問題なければ、次のコマンドで一気にインストールします。

pip install -r requirements.txt

処理が終われば、flowty-realtime-lcm-canvasのインストールは完了です。

flowty-realtime-lcm-canvasの動作確認を行います。
リポジトリルートで以下のコマンドを実行します。

python ui.py

初回起動時は、モデルのダウンロードなどが実行されます。
約4GBぐらいのサイズでしょうか。

とりあえず、以下のように表示されたら起動は成功です。

Running on local URL:  http://127.0.0.1:7860

To create a public link, set `share=True` in `launch()`.

このURLにアクセスすれば、次のような画面を確認できます。

操作は、直観的にできます。
デフォルトでプロンプトには、以下が設定されています。

Scary warewolf, 8K, realistic, colorful, long sharp teeth, splash art

「warewolf」を「fish」にして、以下のようにペンで適当に塗ります。

マウスを離したタイミングで画像生成が開始され、すぐに以下のように画像が表示されます。

新たに塗ると、画像生成が行われます。
また、「SEED」を変更しても画像生成が行われます。

私の環境では、次のような処理時間で画像が生成されていることを確認できます。

1秒未満というのが、エグイです。
GeForce RTX 3090でこの速度であるなら、GeForce RTX 4090はもっと速いのでしょうね。