オンラインコミュニティにおける不適切な画像コンテンツの拡散は、深刻な問題となっています。
こうした課題に対処するため、コンテンツモデレーションが必要とされています。
しかし、コンテンツモデレーションは実行することは簡単なことではありませんでした。
そのため、高いお金を払ってコンテンツモデレーションを専門に行う企業などに委託されてきました。
画像1枚当たりで料金が決まっており、月末に委託料金が計算されるという流れです。
大手企業や儲かっているサービス以外は、こんなことはできません。
XGen-MMを用いたコンテンツモデレーション
こうしたコンテンツモデレーションの課題を解決する可能性を秘めているのが、
Salesforce AI Researchが開発したオープンソースの画像認識モデル「XGen-MM」です。
XGen-MMは事前学習済みのモデルであり、Pythonを使って簡単に実行できます。
GPUマシンさえあれば、特別なAPIを利用せずとも、XGen-MMを活用した画像モデレーションを実現できるのです。
つまり、無料でコンテンツモデレーションが可能となります。
XGen-MMを利用することで、不適切なコンテンツ（暴力表現、わいせつ表現など）を高速かつ高精度で検知できます。
これにより、コンテンツモデレーションのコストを大幅に削減できる可能性があります。
ただし、XGen-MMの利用には留意点もあります。
大量の画像を処理するには高性能なGPUマシンが必要となります。
また、XGen-MMは汎用的な画像認識モデルです。
そのため、特定のコミュニティに特化した画像分類は難しい場合があります。
XGen-MMによる画像モデレーションを導入する際は、半自動化を目指すべきでしょう。
完全に自動化するのではなく、人間のモデレーターとの協働という形ですね。
XGen-MMによる1次スクリーニングの後、グレーゾーンの画像は人間が最終判断するといった運用が望ましいでしょう。
また、誤検知のリスクについてユーザーに丁寧に説明し、理解を得ることも重要です。
XGen-MMを賢く活用することで、オンラインコミュニティの画像モデレーションを低コストかつ効率的に実現できます。
一方で、AIの判断を鵜呑みにせず、人間の目を併用することが肝要です。
XGen-MMの活用方法
XGen-MMは、マルチモーダルモデルです。
そのため、プロンプトである程度の操作が可能となります。
例えば、次のような画像とプロンプトをXGen-MMに入力します。
システムで監査する場合は、プログラムで自動的に行うことになるでしょう。
プロンプトは、以下。
Please determine if the image is NSFW content. The result of the determination should be returned as a number; if it is NSFW, it should be close to 100. If not, it should be close to 0. If it is difficult to determine, then 50, etc.
日本語だと、以下のような内容になります。
画像がNSFWコンテンツかどうかを判定してください。NSFWであれば100に近い数値が返され、そうでなければ0に近い数値が返されます。判定が難しい場合は50など。
犬の画像の場合は、「0」という結果です。
NSFWコンテンツではないと断言してくれています。
そこそこの枚数を検証しましたが、かなり精度は高いと言えます。
基本的には、「0」か「100」かの判定になります。
たまに「50」で迷うような画像もありました。
そのような場合は、人間が判定を行うということになるのでしょう。
でも、「50」はほぼ出ませんでした。
そうだとすると、人間が追う負担はほとんどないことになります。
