「IP-Adapterを簡単に利用したい・・・」
「画像をベースに似たような画像を生成したい」
このような場合には、この記事の内容が参考になります。
この記事では、web UIにおけるIP-Adapterについて解説しています。
本記事の内容
- web UIにおけるIP-Adapter
- web UIにおけるIP-Adapterの利用方法
- web UIにおけるIP-Adapterの動作確認
それでは、上記に沿って解説していきます。
web UIにおけるIP-Adapter
web UIは、AUTOMATIC1111版web UIを指します。
IP-Adapterは、画像をプロンプトとして扱える技術になります。
IP-Adapterにより、次のような画像をプロンプトの一部として利用できるのです。
例えば、このような犬が街の中を歩く画像を生成したいとします。
この場合、プロンプトにはどのように入力しますか？
a white dog, walk in the city
このような感じになりますよね。
これをプロンプトにして生成した画像は、以下。
白い犬なんですけど、違うのですよね。。。
それが、IP-Adapterを使えば次のような画像を生成できます。
これらの画像生成には、冒頭の画像と次のプロンプトだけを用いています。
walk in the city
犬に関しての記述は、どこにもありません。
画像自体が、犬を表すプロンプトになっています。
IP-Adapterの詳細は、次の記事で説明しています。
上記記事では、Pythonコードによる利用方法を解説しています。
それは、決して誰でも簡単に利用できる方法ではありません。
しかし、現状ではweb UIからIP-Adapterを簡単に利用できるようになっています。
IP-Adapterは、ControlNetの技術に属します。
そのIP-Adapterが、web UIで対応するようになったということです。
以上、web UIにおけるIP-Adapterについて説明しました。
次は、web UIにおけるIP-Adapterの利用方法を説明します。
web UIにおけるIP-Adapterの利用方法
web UIは必須となります。
ただし、IP-Adapterを利用するにはweb UIのバージョンに注意が必要です。
v1.6.0以降をインストールしましょう。
最新版をインストールしておけば、問題はないでしょう。
そして、web UI上でControlNetを利用できる環境も必須となります。
具体的には、web UI拡張機能であるsd-webui-controlnetのインストールが必要です。
sd-webui-controlnetも最新版をインストールします。
普通にインストールすれば、最新版がインストールされます。
sd-webui-controlnetがインストールされれば、「IP-Adapter」を選択できるようになります。
残るは、IP-Adapter用モデルのダウンロードです。
現状では、以下がダウンロード対象となります。
Stable Diffusion 1.5（SD 1.5）とStable Diffusion XL（SDXL）用が用意されています。
各自の環境で必要なモノをダウンロードしましょう。
ダウンロードしたモデルは、ControlNetモデルの場所に保存します。
保存できたら、「IP-Adapter」選択時に次のように表示されます。
あとは、普通に画像生成を行うだけです。
以上、web UIにおけるIP-Adapterの利用方法を説明しました。
次は、web UIにおけるIP-Adapterの動作確認を説明します。
web UIにおけるIP-Adapterの動作確認
web UIにおけるIP-Adapterの動作確認を行います。
今回は、SDXLで試します。
この場合は、PreprocessorとModelは次のように合わせましょう。
そして、プロンプトに用いる画像は以下。
これは、リアルに存在する人の写真です。
利用するモデルは、自由に選ぶことができます。
ここでは、次のモデルを用いています。
プロンプトには、以下を入力。
shirt written 'no war'
このような条件で生成された画像は、以下となります。
同一人物には見えませんね。
雰囲気は似ていますけど。
犬と異なり、人間だと顔の違いが目につきますね。
次は、画像生成AIで生成した画像を試してみましょう。
Realistic Stock Photoのデモ画像です。
https://civitai.com/images/2339461
利用するモデルによって生成された画像を用います。
プロンプトは、単純にします。
anger
このような条件で生成された画像は、以下となります。
同じモデルで画像生成された画像であっても関係ないようです。
「金髪・白人・赤い服・プール」という情報は一致しています。
しかし、同一人物には見えません。
それに怒っているようにも見えません。
笑顔が消えているので、怒っているということなのでしょう。
それでは、もう一つの画像を試してみましょう。
https://civitai.com/images/2339546
プロンプトは、以下を用います。
a book
生成された画像は、以下。
同一人物という視点ではなく、同じような雰囲気という視点であればよいのかもしれません。
「トイレで座りながら本を読む中年男性」という画像であれば、これで十分ではないでしょうか。
そのような画像を生成する場合、IP-Adapterを用いればプロンプトを考える手間を省けます。
省ける上に精度が高い画像を生成できそうです。
以上、web UIにおけるIP-Adapterの動作確認を説明しました。
