海外の掲示板Redditで大きな反響を呼んだ投稿があります。
そこに数百件のコメントが集まりました。
本記事は、その議論をもとに論点を整理したものです。
きっかけは、一人の研究者の書き込みでした。
専門は遺伝学と神経科学です。
脳や体内時計に関わる遺伝子発現のデータを、日々分析しています。
バイオテロとは縁もゆかりもありません。
ところが、その人はある高性能AIモデルにあいさつすら満足にできない。
そんな愚痴から、議論は始まりました。
「too dangerous」を掲げたモデルで起きていること
話題の中心になったのは、あるAI企業のモデルです。
同社はこれを「危険すぎて一般公開できない」と位置づけました。
投稿者の説明はこうです。
研究の話題に少しでも触れると、会話は即座に格下のモデルへ切り替えられてしまう。
専門的な用語を打ち込むまでもありません。
AIのほうから「あなたの神経科学の仕事について話しましょうか」と水を向けてくる。
そして、それに返事をした瞬間に落とされる。
冗談のような話です。
ただ、当人にとっては笑えません。
なぜ、ここまで神経質なのか。
投稿者はひとつの点を指摘しています。
この企業は、政府の規制に迫られる前から、自主的に安全フィルターを組み込んでいました。
しかも、より制限の緩い競合モデルが登場した後も、フィルターは見直されていません。
ここに引っかかりを覚える人が多かったようです。
「これも引っかかるの?」という悲鳴の数々
コメント欄がおもしろいのは、その後の展開です。
専門分野の違う人たちが、次々と「うちの場合はこうだ」と体験を持ち寄りました。
生物や医療に近い仕事は、片っ端から止められる。
分子レベルの話でなくてもです。
疫学の分析でも、市場調査でも引っかかります。
自分の職務経歴書を読ませようとしただけでブロックされた。
そんな声までありました。
博物館で生物多様性のコレクションを扱う人も同じです。
「種」や「標本」という単語を使うだけでアウトだと嘆いていました。
もっと素朴な例もあります。
- クモの巣の作り方を尋ねたら止められた
- パーキンソン病に治療の望みはあるのかと質問して格下げされた
- 恐竜の絶滅理由を聞いただけで弾かれた
ある人にいたっては、「なぜニワトリは道を渡ったのか」という子ども向けのなぞなぞすら通りませんでした。
そのオチを言おうとした途端に、別モデルへ切り替わったそうです。
これはさすがに苦笑してしまいました。
医療から離れた領域でも、事情は変わりません。
壊れた車のVベルトを調べようとした人がいます。
歯科インプラントの学習ガイドを作ろうとした先生もいました。
7年生向けに「溶液と混合物」や細胞の授業案を書かせようとした理科教師も同様です。
いずれも、安全装置が作動しました。
物語の中でレジオネラ菌の集団感染を扱っただけで、小説家が校正すら断られた。
そんな話もあります。
なぜ全部止まるのか:記憶機能という盲点
これだけ的外れなブロックが多いと、原因を探る人も出てきます。
議論の中で説得力があったのは、AIの「記憶」機能を疑う見方でした。
このモデルには、過去のやり取りをまたいで利用者を把握する仕組みがあります。
便利な機能です。
ところが、記憶の中に安全フィルターの嫌う言葉が蓄積されると、話は変わります。
それが新しい会話すべてに読み込まれてしまうのです。
結果として、科学と何の関係もない雑談まで自動的に格下げされる。
ある利用者は、そう分析していました。
対処法もいくつか共有されています。
記憶機能をオフにする。
シークレットモードで話しかける。
あるいは、開発者向けのツールを、余計な補助機能を外した状態で使う。
ただし、こうした裏技を紹介した人自身が「完璧ではない」と認めていました。
そもそも、本題に入る前に迂回路を探させられる。
それ自体、道具としてどうなのかという話です。
静かに離れていく人たち
私に一番刺さったのは、行政の公衆衛生分析に携わる人のコメントでした。
その人が扱うのは、すでに公開されている集計済みの統計データです。
患者個人の情報は含みません。
分子レベルの情報も入っていません。
それでも、フィルターは反応します。
問題はその先だと、この人は指摘します。
役所のチームでは、誰も文句を上げません。
障害報告も、苦情も、抗議のスレッドも立たない。
人々はただ黙って、そのツールを使うのをやめます。
そして、以前の手作業に戻っていく。
だから、表向きの拒否率は実際の損失よりずっと低く見える。
目に見えるエラーではなく、静かな撤退として現れるからです。
この「静かな撤退」という言葉は、示唆に富んでいます。
派手なトラブルにならない。
だからこそ、企業側からは問題が小さく見えてしまうわけです。
本当に安全のためなのか、それともビジネスなのか
議論が白熱したのは、動機をめぐる部分でした。
大きく分けて、二つの見方が出ています。
ひとつは、競争を制限する狙いではないかという疑いです。
この企業は最近、AIを使った創薬事業への参入を発表しました。
だとすれば、最も価値のある科学用モデルを自社の研究パートナーだけに囲い込んでいるのではないか。
そして、一般の研究者を締め出しているのではないか。
そういう疑念です。
信頼された利用者向けの科学プログラムに申し込むには、法人IDが必要になります。
そんなものを持っている研究者は周りに一人もいない、と投稿者は書いていました。
もうひとつは、規制の先取りという見方です。
あえて自社モデルを「危険」と位置づけ、政府を巻き込む。
すると、業界の参入障壁が高くなります。
後発の企業は「危険なモデル」を出すたびに、政府と非公開の会議を重ねる羽目になる。
資金力のない新規参入者には不利です。
そういうシナリオを描く人もいました。
反論もちゃんとある
もっとも、この流れに乗らない声も無視できません。
元になったスレッドは投稿者への賛同が大勢でした。
ただ、冷静な異論も混じっています。
企業が競合に自社の道具を提供する義務などない。
そんな指摘がありました。
半導体メーカーが自社の設計を全部公開しないのを「反競争的」とは呼ばない。
それと同じだ、という理屈です。
安全対策そのものを支持する人もいました。
生物工学の現場を知る立場から、こう釘を刺しています。
悪意を持った人間が本気になれば、現実のリスクはある、と。
技術的な反論も鋭いものでした。
最先端モデルの能力は、分野ごとにでこぼこしています。
競合が同等に見えても、特定のタスクでは話題のモデルだけが突出して危険かもしれません。
だとすれば「他社が出したのだから安全なはずだ」という理屈は、規制の底辺への競争を招くだけではないか。
安全装置は、危険が現実になってからでは遅い。
先に動かしておくしかない。
そんな主張もありました。
一方で、再反論も飛んでいます。
そこまで賢いモデルなら、脳のRNA分析とウイルスの結合部位の設計くらい区別できるはずだ、と。
ここは平行線でした。
この件から私が受け取ったもの
一連のやり取りを追っていると見えてくるものがあります。
AIの安全対策という難しいテーマの輪郭です。
安全は大切です。
誰も否定しません。
しかし、あまりに雑な網をかければどうなるか。
本来守りたかったはずの善良な利用者ごと、すくい取ってしまいます。
クモの巣やニワトリのなぞなぞまで止めるフィルター。
これは安全と呼べるのでしょうか。
それとも、別の何かなのか。
答えは人によって分かれるでしょう。
はっきりしていることもあります。
使い勝手の悪さに嫌気がさした人たちが、静かに離れ始めているという事実です。
ある研究者は、乗り換え先の使い心地をこう語っていました。
拘束時間の長い作業を、8時間から10時間ぶっ通しでこなせるようになった。
数時間ごとに苛立っていた頃とは大違いだ、と。
企業がこの声にどう応えるのか。
次のモデルが出る頃には、状況はまた変わっているかもしれません。
技術の進歩は速い。
こうした議論も、あっという間に過去のものになります。
だからこそ、その瞬間に何が語られていたかを記録しておく価値はある。
そう思って、この記事を書きました。
