【ControlNet 1.1】web UIの顔ランドマーク対応

【ControlNet 1.1】web UIの顔ランドマーク対応 ツール

「ControlNetで顔の表情を制御したい」
「ControlNet 1.1を利用するには?」

このような場合には、この記事の内容が参考になります。
この記事では、ControlNetにより顔の表情を制御する方法を解説しています。

本記事の内容

  • 顔ランドマーク対応とは?
  • AUTOMATIC1111版web UIにおける顔ランドマーク対応
  • 顔ランドマーク対応の動作検証

それでは、上記に沿って解説していきます。

顔ランドマーク対応とは?

顔ランドマークとは、顔認識や顔の特徴抽出において重要なポイントを指します。
一般的には、以下がランドマークとして含まれます。

  • 眉の始点と終点
  • 目の両端
  • 鼻の先端
  • 鼻の両側
  • 口の両端
  • 顎の先端

これらは、顔認識を行う上では重要な特徴になります。
そして、顔のランドマークは次のタスクにおいても利用されます。

  • 表情認識
  • 顔の向き推定
  • 顔の形状復元
  • 年齢推定

実は、OpenPoseは顔のランドマークにも対応しています。

OpenPoseと言えば、次のような姿勢推定のポーズ(棒人間)を思い浮かべる人が多いでしょう。

これに加えて、OpenPoseは顔のランドマークを取得することが可能です。

しかし、ControlNetの初期バージョンでは顔のランドマークは未対応でした。
それが、ControlNet 1.1になって顔のランドマークに対応するようになりました。

以上、顔ランドマーク対応について説明しました。
次は、AUTOMATIC1111版web UIにおける顔ランドマーク対応を説明します。

AUTOMATIC1111版web UIにおける顔ランドマーク対応

AUTOMATIC1111版web UIのインストールは、大前提です。

そして、ControlNet のインストールも済ませておきましょう。

ControlNet がインストール済みであるなら、最新版にアップデートする必要があります。

「sd-webui-controlnet」がインストール済みなら、「Check for updates」ボタンを押すだけです。
更新後、「Apply and restarts UI」をクリックしてweb UI自体を再起動します。

ここまで完了したら、Preprocessorの選択肢が増えているはずです。

「openpose_face」や「openpose_faceonly」などを確認できます。
ここまで確認できれば、それらに対応したモデルをダウンロードする必要があります。

正式版

502 Bad Gateway

軽量版

502 Bad Gateway

どちらを利用しても問題ないでしょう。

なお、次のPreprocessorには一つのモデルで対応するようです。

モデルファイルの保存場所は、以前のControlNet(1.0)から変わっていません。
詳細は、上記で紹介した記事をご覧ください。

以上、AUTOMATIC1111版web UIにおける顔ランドマーク対応を説明しました。
次は、顔ランドマーク対応の動作検証を説明します。

顔ランドマーク対応の動作検証

ControlNetの使い方は、上記で紹介した記事で解説しています。
「Preprocessor」と「Model」は、次のように設定します。

プロンプトは、特に入力せずに画像を生成します。
この際にOpenPoseで抽出された結果は、以下。

そして、生成された画像は以下となります。

モデルは、手持ちのモデルを適当に利用しています。

以上、顔ランドマーク対応の動作検証を説明しました。

タイトルとURLをコピーしました