Liquid AIが新しい人工知能モデルを発表しました。
それが、Liquid Foundation Models（LFMs）です。
LFMsの最も注目すべき特徴は、トランスフォーマーアーキテクチャを採用していない点です。
これは、AI業界に新たな風を吹き込む可能性があります。
LFMsは、新しい計算ユニットで構築されています。
その基盤となっているのは、動的システム理論、信号処理、数値線形代数です。
このアプローチにより、LFMsは従来のモデルと比べて優れた特性を持っています。
具体的には、より小さなメモリフットプリントと効率的な推論を実現しています。
そして同時に、高いパフォーマンスも達成しています。
Liquid AIは現在、3つのサイズのモデルを発表しています。それぞれの特徴は以下の通りです：
- 1.3Bパラメータモデル：リソースが制限された環境向け
- 3.1Bパラメータモデル：エッジデバイス向けに最適化
- 40.3Bパラメータの Mixture of Experts（MoE）モデル：より複雑なタスク向け
これらのモデルは、複数のベンチマークテストで評価されました。
その結果、同サイズやより大きなサイズの既存モデルを上回る性能を示しています。
評価に使用されたのは、MMLU、Hellaswag、ARC-C、GSM8Kなどのテストです。
LFMsには、長い入力シーケンスを効率的に処理できる能力があります。
これは特筆すべき特徴の一つです。
トランスフォーマーベースのモデルでは、入力が長くなるとメモリ使用量が線形に増加します。
しかし、LFMsはこの問題を軽減しています。
Liquid AIによると、LFMsは5つの基準で最適化されています。
- 知識容量
- 多段階推論
- 長文脈の記憶
- 推論効率
- 訓練効率
LFMsは汎用AIモデルとして設計されています。
そのため、様々な種類の連続データをモデリングできます。
例えば、テキスト、ビデオ、音声、時系列データなどが挙げられます。
現在、LFMsは複数のプラットフォームで試用可能です。
具体的には、Liquid Playground、Lambda（Chat UIとAPI）、Perplexity Labsです。
また、近々Cerebras Inferenceでも利用可能になる予定です。
さらに、様々なハードウェア向けに最適化が進められています。
対象となっているのは、NVIDIA、AMD、Qualcomm、Cerebras、Appleです。
Liquid AIの計画では、LFMsは主に企業向けのプライベートAIソリューションとして提供されます。
そして今後、より大規模で高性能なモデルの開発を予定しています。
対象となる産業は、金融サービス、バイオテクノロジー、家電などです。
LFMsは新しいアプローチを採用したAIモデルとして注目を集めています。
しかし、その詳細な仕組みや長期的な影響については、まだ不明な点が多いです。
これらは、今後の研究や実用化の過程で明らかになっていくでしょう。
