Meta AI Llama 4モデルの3つの優れた新機能

2025 年 4 月初旬、 Meta は同社を次のレベルに引き上げるために設計された AI モデルの最新シリーズであるLlama 4 をリリースしました。新しい Llama 4 モデルはそれぞれ、以前のモデルに比べて大幅に改良されており、以下に挙げる新機能は試してみる価値のある傑出した機能です。

3. 専門家混合（MoE）アーキテクチャ

Llama 4 モデルの最も注目すべき機能の 1 つは、Llama シリーズで初めて採用された新しい MoE アーキテクチャであり、以前のモデルとは異なるアプローチを採用しています。新しいアーキテクチャでは、タスクごとにすべてのパラメータがアクティブ化される Llama 3 以前の従来の高密度トランスフォーマー モデルとは異なり、トークンごとにモデル パラメータのごく一部だけがアクティブ化されます。

たとえば、Llama 4 Maverick は、128 個のルーティング エキスパートと共有エキスパート 1 個を使用して、4,000 億個のパラメータのうち 170 億個のアクティブ パラメータのみを使用します。シリーズ最小のLlama 4 Scoutは合計1090億のパラメータを持ち、そのうち16人のエ​​キスパートで170億だけをアクティブ化します。

3 つのうち最大のバージョンである Llama 4 Behemoth は、合計約 2 兆個のパラメータのうち 2,880 億個のアクティブ パラメータ (16 人のエキスパートを含む) を使用します。この新しいアーキテクチャのおかげで、各タスクに割り当てられる専門家は 2 人だけになります。

アーキテクチャの変更により、Llama 4 シリーズのモデルはトレーニングおよび推論中の計算効率が向上します。パラメータのごく一部だけを有効にすると、サービスコストと遅延が削減されます。 Meta は、MoE アーキテクチャのおかげで、Llama は単一の Nvidia H100 GPU で実行できると主張しており、パラメータの数を考慮するとこれは素晴らしい成果です。具体的な指標はありませんが、ChatGPTへの各クエリは複数の Nvidia GPU を使用すると考えられており、ほぼすべての測定可能な指標でオーバーヘッドが大きくなります。

2. ネイティブのマルチモーダル処理機能

Llama 4 AI モデルのもう 1 つの重要なアップデートはネイティブ マルチモーダル処理です。つまり、3 つのモデルがテキストと画像を同時に理解できるということです。

これは、テキストとビジュアル トークンが統一されたアーキテクチャに統合される、初期トレーニング フェーズで実行される組み合わせのおかげです。モデルは、大量のラベルなしテキスト、画像、ビデオ データを使用してトレーニングされます。

これ以上良いものはありません。思い出していただければ、2024 年 9 月にリリースされた Meta のLlama 3.2アップグレードでは、5 つのマルチモーダル ビジョン モデルと 5 つのテキスト モデルを含む、多数の新しいモデル (合計 10 個) が導入されました。この世代では、ネイティブのマルチモーダル処理機能により、テキスト モデルとビジョン モデルを別々にリリースする必要がなくなりました。

さらに、Llama 4 では改良されたビジュアル エンコーダーが使用されているため、モデルは複雑な視覚推論タスクや複数画像の入力を処理でき、テキストや画像の高度な理解を必要とするアプリケーションを処理できるようになります。マルチモーダル処理により、LLama 4 モデルをさまざまなアプリケーションで使用することもできます。

1. 業界をリードするコンテキストウィンドウ

Llama 4 の AI モデルは、最大 1,000 万トークンという前例のないコンテキスト ウィンドウを誇ります。 Llama 4 Behemoth はこの記事の公開時点ではまだ開発中ですが、Llama 4 Scout はコンテキスト長が最大 1,000 万トークンをサポートし、500 万語を超えるテキストを入力できるという点で、新たな業界ベンチマークを確立しました。

この拡張されたコンテキストの長さは、Llama 3 が最初にリリースされたときの 8k トークンから、さらには Llama 3.2 へのアップグレード後に 128k に拡張されたことと比較しても大幅に増加しています。興味深いのは、Llama 4 Scout の 1,000 万コンテキスト長だけではありません。コンテキストの長さが 100 万である Llama 4 Maverick でさえ、印象的な偉業です。

Llama 3.2 は現在、長時間の会話に最適な AI チャットボットの 1 つです。しかし、Llama 4 の拡張されたコンテキスト ウィンドウにより、Llama はトップに立ち、Gemini のこれまでのトップ 200 万トークン コンテキスト ウィンドウ、Claude 3.7 Sonnet の 20 万トークン コンテキスト ウィンドウ、GPT-4.5 の 128K を上回りました。

Llama 4 シリーズは大きなコンテキスト ウィンドウを備えているため、膨大な情報の入力を必要とするタスクを処理できます。この大きなウィンドウは、長い複数のドキュメントの分析、大規模なコードベースの詳細な分析、大規模なデータセットの推論などのタスクに役立ちます。

また、Llama 4 は、以前の Llama モデルや他の AI 企業のモデルとは異なり、長時間の会話を続けることができます。 Gemini 2.5 Pro が最高の推論モデルである理由の 1 つがその大きなコンテキスト ウィンドウである場合、5 倍または 10 倍のコンテキスト ウィンドウがどれほど強力であるかは想像できます。

Meta の 3 シリーズ Llama モデルは、市場で最も優れた LLM の 1 つです。しかし、Llama 4 シリーズのリリースにより、Meta は推論パフォーマンスの向上 (業界をリードする新しいコンテキスト ウィンドウのおかげ) に重点を置くだけでなく、トレーニングと推論の両方で新しい MoE アーキテクチャを使用することで可能な限り最も効率的なモデルを確保することで、さらに一歩前進しました。

Llama 4 は、ネイティブのマルチモーダル処理機能、効率的な MoE アーキテクチャ、大規模なコンテキスト ウィンドウを備えているため、推論、エンコード、その他多くのタスクにおいて主要なモデルと競合、または凌駕できる、オープンで高性能、かつ柔軟な重み付け AI モデルとして位置付けられています。