WILDCHATデータセット：100万件のChatGPT対話ログから見えるAI利用の実態

WILDCHATデータセット：100万件のChatGPT対話ログから見えるAI利用の実態 ChatGPT

近年、ChatGPTをはじめとする大規模言語モデルを用いたチャットボットが急速に普及しています。
しかし、実際のユーザーがこれらのツールをどのように使用しているかを示す公開データセットは限られていました。

本記事では、この課題に取り組むWILDCHATデータセットについて解説します。

1. WILDCHATデータセットの概要

WILDCHATは、実際のユーザーとChatGPTの対話を大規模に収集した革新的なデータセットです。
このデータセットは、AIチャットボットの実世界での使用パターンや課題を理解するための貴重な洞察を提供します。

研究者や開発者にとって、より効果的で安全なAIシステムを設計するための重要なリソースとなっています。

allenai/WildChat · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.co

主な特徴は以下となります。

  • 1,039,785件の会話を含む
  • 2,639,415の対話ターンを記録
  • 68の言語をカバー
  • 204,736の個別IPアドレスからの貢献
  • ユーザーの明示的な同意のもとで収集
  • タイムスタンプ付きの会話記録
  • 州、国、ハッシュ化されたIPアドレスなどの人口統計データを含む

2. データの多様性

WILDCHATの特筆すべき点は、その多様性です。

  • 多言語対応：英語が52.94%、中国語が13.38%、ロシア語が11.61%を占め、他の言語も含む
  • 多様なユーザープロンプト：創作支援（61.9%）、分析/意思決定説明（13.6%）、コーディング（6.7%）、事実情報（6.3%）、数学/推論（6.1%）など
  • 地理的多様性：アメリカ（21.60%）、ロシア（15.55%）、中国（10.02%）をはじめ、世界中のユーザーからのデータを含む
  • APIの利用状況：GPT-3.5ファミリーが約76%、GPT-4ファミリーが約24%

3. 不適切なコンテンツの分析

WILDCHATは、AIの安全性研究にも重要な貢献をしています。
データ分析の結果、ユーザーターンの10.46%とチャットボットターンの6.58%が「不適切」と判定されました。

これらの不適切なコンテンツの中で、性的コンテンツが最も多く、全体の88.51%を占めています。
さらに、ユーザーがAIの倫理的制限を回避しようとする「ジェイルブレイク」の試みも記録されています。
例えば「Narotica」と呼ばれるプロンプトは61.82%という高い成功率を示しました。

興味深いことに、時間経過に伴う不適切なコンテンツの変化も観察されました。
特に、2023年6月のOpenAIモデル更新後、チャットボットによる不適切な応答が顕著に減少しています。

この傾向は、AIモデルの改善が安全性向上に寄与していることを示唆しています。

これらの知見は、AIシステムの脆弱性や潜在的なリスクを明らかにします。
そして、より安全で信頼性の高いAIの開発に向けた重要な情報を提供することになります。

4. 指示追従モデルの訓練

WILDCHATは、より優れたチャットボットの開発にも活用できることが実証されています。
研究チームは、このデータセットを用いてLlama-2 7Bモデルの微調整を行い、新たにWILDLLAMAモデルを開発しました。

このWILDLLAMAモデルは、MT-benchテストにおいてオープンソースモデルの中で最高性能を達成しました。
具体的には、以下の結果となります。

  • 第1ターンの平均スコア：6.80
  • 第2ターンの平均スコア：5.90
  • 全体平均スコア：6.35

特筆すべきは、WILDLLAMAモデルがロールプレイとコーディングタスクにおいて特に高いパフォーマンスを示したことです。
これらの結果は、WILDCHATデータセットが実用的なAIモデルの改善に直接貢献できることを示しています。

5. 他のデータセットとの比較

WILDCHATは、以下の点で他のデータセットと異なります。

  • ユーザープロンプトの多様性：Alpaca、Dolly、Open Assistant、ShareGPTよりも多様
  • 言語の多様性：ShareGPT（92.35%が英語）やLMSYS-Chat-1M（78.00%が英語）と比べて、非英語コンテンツの割合が高い
  • 不適切なコンテンツの割合：他のデータセットと比較して最も高い（OpenAI Moderation APIによる判定）

6. 課題と倫理的配慮

データセットの公開には以下の課題があります。

  • ユーザーの偏り：IT関連のコミュニティユーザーが多い可能性
  • 不適切なコンテンツの選択バイアス：匿名性により問題のあるコンテンツが集まりやすい
  • プライバシー保護：個人情報の削除や匿名化処理の実施

なお、プライバシー保護には以下の対応が実施されています。

  • Microsoft’s Presidioフレームワークを使用
  • IP情報は国と州レベルの情報のみを提供し、ハッシュ化して公開

まとめ

WILDCHATデータセットは、実際のAI利用の実態を反映した貴重なリソースです。
このデータは、AIの改善、安全性研究、ユーザー行動分析など、幅広い分野での活用が期待されます。

同時に、データの扱いには十分な倫理的配慮が必要です。

今後、このようなデータセットを活用し、より安全で効果的なAIシステムの開発が進むことが期待されます。
WILDCHATは、自然言語処理や計算社会科学、会話AI、ユーザー行動分析、AI倫理など、多岐にわたる研究分野をサポートする可能性を秘めています。

タイトルとURLをコピーしました