長大なプロンプトを書いていて、AIが期待通りに動かなかった経験はありませんか？
「もっと詳しく指示すれば正確に動くはず」と考えがちです。
そして、どんどん指示を追加していく。
しかし、結果は思わしくない。
実は、この問題には明確な理由があります。
Distyl AIの最新研究によると、AIモデルのプロンプト処理能力には明確な限界があります。
彼らが開発したIFScaleベンチマークを使った評価で、指示の数が増えると、モデルのパフォーマンスが大幅に低下することが明らかになりました。
指示の数とパフォーマンスの関係
研究者たちは、10個から500個まで段階的に指示数を増やしてテストしました。
評価には、ビジネスレポート生成タスクにおける500個のキーワード包含指示を使用。
その結果は予想以上に明確でした。
10個程度の指示なら問題ありません。
ほぼすべてのAIモデルが正確に処理できます。
30個まで増やしても、多くのモデルは高い精度を維持します。
しかし、50個を超えると状況が変わります。
この段階では、最先端のモデルでなければ精度を保てません。
そして150個以上になると、どうなるでしょうか。
最高性能のモデルでさえ50〜70%程度の精度に低下してしまうのです。
例えば、gemini-2.5-pro-previewは500指示で68.9%の精度を達成。
これは評価モデルの中で最高値でした。
一方、o3（high）は62.8%、grok-3-betaは61.9%という結果に。
この現象は「指示過多による性能劣化」と呼べるでしょう。
人間でも同じです。
一度に多くのことを頼まれると、何かを忘れます。
あるいは優先順位を間違えてしまいますよね。
なぜこのような現象が起きるのか
研究では、いくつかの興味深い傾向も発見されました。
まず「プライマシーバイアス」です。
AIモデルは、プロンプトの最初の方にある指示をより正確に記憶します。
そして、それらを優先的に実行する傾向があります。
後半の指示は忘れられやすくなるのです。
次に「選択的省略」の傾向があります。
処理しきれない要求に直面したとき、AIはどう振る舞うでしょうか。
間違った処理をするのではなく、その要求自体をスキップします。
つまり、エラーを出すよりも無視する方を選ぶわけです。
また、重要な発見がもう一つあります。
コンテキストウィンドウ（一度に処理できるトークン数）が大きくても、多くの指示を同時に処理できるわけではないのです。
多くの人が誤解しています。
「最新のモデルはコンテキストウィンドウが大きいから、長いプロンプトも大丈夫」と考えがちです。
しかし、実際はそうではありません。
どのモデルを選ぶべきか
IFScaleベンチマークの結果によると、タスクの複雑さに応じて適切なモデルを選ぶことが重要です。
150個以上の指示を含む非常に複雑なタスク：
- gemini-2.5-pro-preview（500指示で68.9%）
- o3（500指示で62.8%）
50〜100個程度の指示：
- gpt-4.5-preview
- claude-opus-4
- claude-3.7-sonnet
- grok-3-beta
一方で、複雑な多重タスクのプロンプトには向かないモデルもあります。
gpt-4o、gpt-4.1、claude-3.5-haiku、llama-4-scoutなどです。
これらは多数の指示を含むプロンプトで性能が低下しやすいことが分かりました。
実践的な解決策
では、複雑なタスクをAIに処理させたい場合はどうすればよいでしょうか？
最も効果的な方法は「プロンプトチェーン」です。
一つの巨大なプロンプトを作る代わりに、複数の小さなプロンプトに分割します。
各プロンプトには10〜30個程度の指示を含めます。
そして、順番に実行していくのです。
重要な指示は必ずプロンプトの最初に配置しましょう。
プライマシーバイアスを逆手に取るわけです。
絶対に守ってほしい要求事項があれば、プロンプトの前半部分に書きます。
これにより、より確実に実行されます。
50個以上の指示が必要な場合もあるでしょう。
その時は、推論機能を持つモデルや推論モードを活用します。
研究では、推論モデル（”(r)”と表記）が複雑な指示の処理において優れた性能を発揮することが示されました。
実際の活用例
複雑な文書生成タスクを考えてみましょう。
従来のアプローチでは、すべてを一つのプロンプトに詰め込んでいました。
文書の構造、トーン、含めるべき情報、避けるべき表現、参照すべきデータなど。
しかし、より効果的なアプローチがあります：
- まず基本的な文書構造を生成する（10個程度の指示）
- 次に各セクションの内容を充実させる（各セクション20個程度の指示）
- 最後に全体のトーンや表現を調整する（15個程度の指示）
このように段階的に処理します。
すると、各ステップでAIは最高のパフォーマンスを発揮できます。
コメントから得られた洞察
この研究結果に対して、実践者たちから興味深い意見が寄せられています。
ある開発者は、例文や出力テンプレートの活用を提案しています。
確かに、具体例を示すことで多くの説明的な指示を減らせます。
別の実践者は面白い取り組みをしています。
AIに他のAI用のプロンプトを生成させているそうです。
興味深いことに、AIが生成するプロンプトには特徴があります。
通常3〜4個の指示に留まり、段階的な処理を提案することが多いとのこと。
AIも自然に最適な指示数を理解しているようです。
まとめ
プロンプトエンジニアリングにおいて「多ければ良い」という考えは間違いです。
Distyl AIの研究が示すように、指示の数には明確な限界があります。
効果的なAI活用のポイントをまとめます。
基本的なタスクなら10〜30個の指示に留めてください。
複雑なタスクは段階的に分割して処理します。
重要な指示はプロンプトの最初に配置しましょう。
そして、タスクの複雑さに応じて適切なモデルを選んでください。
この知見を活かすことで、AIツールをより効果的に活用できます。
完璧な一つのプロンプトを追求してはいけません。
適切に分割された複数のプロンプトで目的を達成する。
これが、現在のAI技術を最大限に活用する鍵となります。
IFScaleベンチマークの詳細は、https://distylai.github.io/IFScale で公開されています。
