【T2I-Adapter・ControlNet】画像によるカラーの指定

【T2I-Adapter・ControlNet】画像によるカラーの指定 機械学習

「プロンプトを考えるのが面倒だ・・・」
「画像を使ってカラーを指定したい」

このような場合には、この記事の内容が参考になります。
この記事では、画像によるカラーの指定について解説しています。

本記事の内容

  • 画像によるカラーの指定
  • T2I-Adapter(Color)の利用方法
  • T2I-Adapter(Color)の動作確認

それでは、上記に沿って解説していきます。

画像によるカラーの指定

画像によるカラーの指定についての説明です。
まずは、公式ページにおけるT2I-Adapter(Color)の説明を見てみましょう。

この説明より、「画像によるカラーの指定」についてなんとなくでも理解できるはずです。
「spatial palette」とは、次のような画像を指すのでしょう。

例えば、この画像をベースに次のプロンプトを用いてT2I-Adapter(Color)で処理してみます。 

city

カラーの位置は、ほぼ同じです。
そして、プロンプトの「city」を表現できています。

では、プロンプトを次のように変えてみましょう。

animal

「city」よりもカラーの位置は、ズレてしまっています。
でも、頑張って「animal」を表現することができています。
まあ、何の動物か不明ですが。

T2I-Adapter(Color)ができることは、大体把握できたでしょうか？
そして、「画像によるカラーの指定」という意味を理解できたでしょうか？

「OK」となれば、実際に触ってみましょう。

以上、画像によるカラーの指定について説明しました。
次は、T2I-Adapter(Color)の利用方法を説明します。

T2I-Adapter(Color)の利用方法

T2I-Adapter(Color)の利用方法に必要なモノは、以下となります。

  • AUTOMATIC1111版web UI
  • sd-webui-controlnet（web UI拡張機能）
  • T2I-Adapter(Color)用モデル

それぞれを以下で説明します。

AUTOMATIC1111版web UI

AUTOMATIC1111版web UIのインストールは、次の記事で説明しています。

AUTOMATIC1111版web UIの簡単・安全インストール
「今までAUTOMATIC1111版web UIの利用を避けてきた」「OS問わずにAUTOMATIC1111を気軽に利用したい」このような場合には、この記事の内容が参考になります。この記事では、AUTOMATIC1111版web UIを簡単にインストールする方法を解説しています。
self-development.info
2023.01.22

インストール済みの方は、最新版に更新しておきましょう。
必須ではありませんが、古いと動かない可能性があります。

sd-webui-controlnet（web UI拡張機能）

sd-webui-controlnetは、web UIの拡張機能です。
インストール方法と利用方法は、次の記事で説明しています。

AUTOMATIC1111版web UIのControlNet
「AUTOMATIC1111版web UIでControlNetを利用したい」「ControlNetで最先端のスケジューラを利用したい」このような場合には、sd-webui-controlnetがオススメです。この記事では、sd-webui-controlnetについて解説しています。
self-development.info
2023.02.16

また、Multi ControlNetの設定も行っておきましょう。

Multi ControlNetによる画像の構図制御
「セグメンテーションとOpenPoseによる構図制御を同時に行いたい」「ControlNetによる入力を複数同時に行いたい」このような場合には、Multi ControlNetがオススメです。この記事では、Multi ControlNetについて解説しています。
self-development.info
2023.02.23

T2I-Adapter(Color)用モデル

T2I-Adapter(Color)に必要なモノだけに絞ります。

  • モデル（t2iadapter_color_sd14v1.pth）
  • 設定ファイル（t2iadapter_color_sd14v1.yaml）

モデル（t2iadapter_color_sd14v1.pth）

TencentARC/T2I-Adapter at main
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co

上記ページにアクセスして、次のファイルをダウンロードします。

設定ファイル（t2iadapter_color_sd14v1.yaml）

sd-webui-controlnet/models at main · Mikubill/sd-webui-controlnet
WebUI extension for ControlNet. Contribute to Mikubill/sd-webui-controlnet development by creating an account on GitHub.
github.com

上記ページにアクセスして、次のファイルをダウンロードします。

ダウンロードしたファイルは、「extensions/sd-webui-controlnet/models」に保存します。
ここまで対応すれば、ControlNetで以下を選択できるようになっています。

具体的な使い方は、次の動作確認で説明します。

以上、T2I-Adapter(Color)の利用方法を説明しました。
次は、T2I-Adapter(Color)の動作確認を説明します。

T2I-Adapter(Color)の動作確認

最新版の拡張機能であれば、ControlNetのUIが次のように変更されています。

動作としては、次の二つを確認しましょう。

  • T2I-Adapter(Color)のみ
  • T2I-Adapter(Color)とCannyの組み合わせ

それぞれを以下で説明します。

T2I-Adapter(Color)のみ

ベースにしたいカラーを持つ画像をアップロードします。

「Preprocessor」と「Model」は、上記を設定。
プロンプトには、以下を入力します。

「spatial palette」とともに、サイバーシティ色の部屋画像が確認できます。

T2I-Adapter(Color)とCannyの組み合わせ

ControlNetのCannyやOpenPoseなどと組み合わせることが可能です。

「1」に設定を追加して、画像を生成します。
ここでは、プロンプトには以下を入力しておきます。

master sword

全部で次の3つの画像が生成されます。

以上、T2I-Adapter(Color)の動作確認について説明しました。

タイトルとURLをコピーしました