AI 「100万トークン対応」の落とし穴:LLMが会話を忘れる本当の理由
「100万トークン対応」と宣伝されるLLMのコンテキストウィンドウ。しかし実際のホットメモリは約3万トークンという報告も。Redditの議論を参考に、宣伝値と実効値のギャップやRAGの限界について技術的に解説します。
AI
AI
AI
AI
AI
AI
AI
AI
AI
AI