Llama 4が登場：高性能かつロングコンテキスト対応も可能なオープンソースモデル

Metaが発表した最新のAIモデル『Llama 4』シリーズは、テキスト、画像、動画を統合的に扱う高性能なマルチモーダルAIとして注目されています。Mixture of Experts（MoE）という効率的なモデル設計や、最大1000万トークンという業界トップクラスのロングコンテキストウィンドウを持ち、ベンチマーク評価でも高い性能を発揮しています。

Llama 4とは

Llama 4シリーズには、効率性を追求した「Llama 4 Scout」、高度な汎用性能を備えた「Llama 4 Maverick」、そして巨大モデル「Llama 4 Behemoth」の3モデルがあります。

Llama 4 Scoutは170億のアクティブパラメータを持ち、16エキスパートを採用したモデルで、NVIDIAの最新GPU「H100」単体で動作可能です。最大1000万トークン（10M）の非常に長いコンテキストを扱うことができ、例えば膨大なドキュメントを一度に読み込んで要約したり解析したりすることに適しています。実際、ベンチマーク結果ではGemma 3やGemini 2.0 Flash-Lite、Mistral 3.1といった同規模のモデルよりも優れた結果を示しています。

一方、Llama 4 Maverickも170億のアクティブパラメータながら、128エキスパートを使ったことで総パラメータ数は4000億に達する高性能モデルです。このモデルはGPT-4oやGemini 2.0 Flashといった業界を代表するモデルを、推論（MMLU Proベンチマークなど）やコーディング（LiveCodeBenchベンチマークなど）性能で上回り、非常に多用途で汎用性が高いAIとなっています。

教師モデルであるLlama 4 Behemothはさらに規模が大きく、2880億のアクティブパラメータ、総パラメータ数は約2兆を誇ります。このモデルは特にSTEM分野で高い性能を発揮し、例えば数学問題セットのベンチマーク（MATH-500）では95%、高度な一般推論能力を測るGPQA Diamondでは73.7%という優れた正解率を記録しています。このモデルは他の小型モデルの精度向上にも役立っています。

これらのLlama 4モデルはMetaの公式サイトやHugging Faceで入手可能で、WhatsApp、Messenger、Instagram Directなどのサービスでも手軽に試すことができます。

Llama 4の開発手法

Llama 4シリーズの開発には、4つの重要な手法が採用されています。

最初の段階である事前学習（Pre-training）では、「Mixture of Experts（MoE）」という技術を導入しました。MoEはモデルを複数の「エキスパート」（専門家）に分割し、それぞれが異なるデータを効率的に処理することで全体の計算負荷を軽減しつつ、高い性能を維持する手法です。また、マルチモーダル対応のために、テキストや画像、動画の情報を学習初期段階で統合する「Early Fusion（早期融合）」型アーキテクチャも採用しています。

次に中間トレーニング（Mid-training）というプロセスを挟み、特に長文処理能力の改善を行いました。このプロセスにより、最大1000万トークンという膨大なコンテキスト（文脈情報）を処理可能にしています。

最終調整を行う事後トレーニング（Post-training）段階では、「教師ありファインチューニング（Supervised Fine-tuning、SFT）」と「オンライン強化学習（Reinforcement Learning、RL）」を組み合わせ、モデルをさらに実用的で高度な性能に引き上げました。

また、AIモデルが安全に運用されるために、データのフィルタリングや攻撃的な入力を検知・防止する専用の検知モデルを導入するなど、様々な安全対策も取られています。

「Llama 4」について一言

Llama 4シリーズがオープンソースとして提供されていることには非常に大きな意義があります。これにより、世界中の研究者や開発者がモデルを自由に改良したり、新たな応用方法を模索したりすることが可能になり、AI技術の幅広い応用が期待できます。

技術面では特に、計算効率を劇的に向上させるMoE技術や、超長文コンテキストを扱うことができるコンテキストウィンドウ技術は、これまで難しかった高度で複雑なデータ処理を容易にします。

さらにMetaが「Behemoth」のような巨大な規模のモデル開発に取り組んでいることは、AI技術の限界をさらに押し広げる試みとして業界全体に大きな影響を与えるでしょう。特に巨大モデルを教師モデルとして使い、より小さなモデルへその性能を「蒸留」する手法は、今後のAI開発の新たなスタンダードとなり得る重要な戦略です。

出所：The Llama 4 herd: The beginning of a new era of natively multimodal AI innovation