Interrogate CLIP・DeepBooruの使い方

「img2imgにあるInterrogate CLIP（DeepBooru）は何に使うの？」
「画像からプロンプトを知りたい」

このような場合には、この記事の内容が参考になります。
この記事では、Interrogate CLIP・DeepBooruについて解説しています。

本記事の内容

Interrogate CLIP・DeepBooruとは？
Interrogate CLIP・DeepBooruの利用方法

それでは、上記に沿って解説していきます。

Interrogate CLIP・DeepBooruとは？

Stable Diffusion web UIのimg2imgで、次のボタンに見覚えがありませんか？

Interrogate CLIP・DeepBooruは、これらのボタンから利用できます。
機能としては、アップロードした画像からプロンプトを生成します。

詳細は、次の記事で説明しています。

この機能をStable Diffusion web UIで使えるようにしたということです。
それもデフォルトの機能として用意されています。

この機能は、BLIPをベースに開発されているようです。

ただ、BLIPの最新バージョンはBLIP-2となります。
BLIP-2については、次の記事で解説しています。

実際にInterrogate CLIP・DeepBooruを利用した結果を見てみましょう。
画像は、次の画像を用います。

Interrogate CLIP

a white dog with pink heart shaped sunglasses on a white pillow with a blue background and a blue wall, Elke Vogelsang, animal photography, a stock photo, furry art

Interrogate DeepBooru

animal, animal_focus, bear, black_eyes, cat, dog, looking_at_viewer, no_humans, polar_bear, realistic, shiba_inu

それぞれで結果が異なります。
CLIPの方が、標準だと考えてよいです。

DeepBooruの方は、Danbooruのタグでプロンプトが出力されます。
アニメ画像の場合だと、Interrogate DeepBooruを用いた方がよいかもしれません。

以上、Interrogate CLIP・DeepBooruについて説明しました。
次は、Interrogate CLIP・DeepBooruの利用方法を説明しました。

Interrogate CLIP・DeepBooruの利用方法

利用方法は、画像をアップロードしてボタンを押すだけです。

初回時は、処理に必要なモデルのダウンロードが行われます。
その分だけ、待たされることになります。

まず、画像をアップロードします。

そして、「Interrogate CLIP」ボタンをクリック。

そうすると、このようにプロンプトが表示されま
「Interrogate DeepBoooru」ボタンをクリックすると、次のように上書きされます。

では、得られたプロンプトを用いて画像を生成してみましょう。
モデルは、同じモノ（MeinaMix）を利用します。

結果は、以下。

Interrogate CLIP

a woman in a white and red outfit standing in front of a building with lanterns and lanterns hanging from it, Fan Qi, official art, a detailed painting, sots art

Interrogate DeepBooru

1girl, architecture, autumn_leaves, bangs, bare_shoulders, breasts, cowboy_shot, detached_sleeves, east_asian_architecture, floating_hair, flower, hair_ornament, hakama, holding, horns, japanese_clothes, jingle_bell, lantern, long_hair, long_sleeves, looking_at_viewer, oni_horns, outdoors, paper_lantern, pumpkin, purple_eyes, purple_hair, ribbon-trimmed_sleeves, ribbon_trim, skirt, solo, torii, twintails, very_long_hair, wide_sleeves