web UI拡張機能でShap-Eを動かす【テキスト・画像からの3Dモデル生成】

web UI拡張機能でShap-Eを動かす【テキスト・画像からの3Dモデル生成】 ツール

「テキストや画像から3Dモデルを生成したい」
「インストールが面倒なツールやソフトは使いたくない・・・」

このような場合には、Stable Diffusion WebUI Txt/Img To 3D Modelがオススメです。
この記事では、Stable Diffusion WebUI Txt/Img To 3D Modelについて解説しています。

本記事の内容

  • Stable Diffusion WebUI Txt/Img To 3D Modelとは?
  • Stable Diffusion WebUI Txt/Img To 3D Modelのインストール
  • Stable Diffusion WebUI Txt/Img To 3D Modelの動作確認

それでは、上記に沿って解説していきます。

Stable Diffusion WebUI Txt/Img To 3D Modelとは?

GitHub - jtydhr88/sd-webui-txt-img-to-3d-model: A custom extension for sd-webui that allow you to generate 3D model from txt or image, basing on OpenAI Shap-E.
A custom extension for sd-webui that allow you to generate 3D model from txt or image, basing on OpenAI Shap-E. - jtydhr88/sd-webui-txt-img-to-3d-model

Stable Diffusion WebUI Txt/Img To 3D Model(以下Txt/Img To 3D拡張と呼ぶ)とは、AUTOMATIC1111版web UIのエクステンションです。

Txt/Img To 3D拡張を用いると、テキスト・画像から3Dモデルを生成できます。
Txt/Img To 3D拡張は、OpenAIのShap-Eをベースにしています。

GitHub - openai/shap-e: Generate 3D objects conditioned on text or images
Generate 3D objects conditioned on text or images. Contribute to openai/shap-e development by creating an account on GitHub.

web UIの拡張機能であるため、Shap-Eの敷居が一気に下がっています。
インストールは、他の拡張機能と同じようにできます。

機能的には、Shap-Eと同じように以下のモードで3Dモデルの生成が可能です。

  • txt
  • img

「txt」モードでは、テキストから3Dモデルを生成できます。

「img」モードでは、3Dのような画像から3Dモデルを生成できます。

コーギーの3D風画像をアップロードしています。
なお、このモードの場合にプロンプトは無視されます。

以上、Stable Diffusion WebUI Txt/Img To 3D Modelについて説明しました。
次は、Stable Diffusion WebUI Txt/Img To 3D Modelのインストールを説明します。

Stable Diffusion WebUI Txt/Img To 3D Modelのインストール

Txt/Img To 3D拡張のインストールを説明します。
その前提として、AUTOMATIC1111版web UIのインストールは必須です。

まず、「Extensions」タブをクリック。

そして、「Extensions」内の「Install from URL」タブを開きます。

「URL for extension’s git repository」に次のURLを入力します。

 https://github.com/jtydhr88/sd-webui-txt-img-to-3d-model.git

入力できたら、「Install」ボタンをクリック。
処理が完了したら、「Extensions」内の「Installed」タブをクリック。

sd-webui-txt-img-to-3d-modelがインストールされていることを確認できます。
確認できたら、「Apply and restart UI」ボタンをクリック。

web UIが再表示されれば、次のようにタブが増えていることを確認できます。

これで、Txt/Img To 3D拡張のインストールは完了です。

以上、Stable Diffusion WebUI Txt/Img To 3D Modelのインストールを説明しました。
次は、Stable Diffusion WebUI Txt/Img To 3D Modelの動作確認を説明します。

Stable Diffusion WebUI Txt/Img To 3D Modelの動作確認

Txt/Img To 3D拡張の動作確認を行います。

モデルに関しては、自動的にダウンロードされます。
そのため、自分でモデルをダウンロードする必要はありません。

ただし、GUI上ではその状況がわかりません。
コンソールを見れば、次のようにダウンロードされている状況を確認できます。

まずは、「Txt/Img to 3D Model」タブを開きます。
今回は、「txt」モードを試します。

プロンプトは、シンプルに。

他の設定値は、デフォルトのままとします。

問題なければ、「送信」ボタンをクリック。
検証したマシン(GPU 24GB)では、40秒ほどで次のように表示されます。

以上、Stable Diffusion WebUI Txt/Img To 3D Modelの動作確認を説明しました。

タイトルとURLをコピーしました