セレブラス、NVIDIAの20倍の性能を誇る世界最速AI推論技術を発表

Cerebras Systems は、世界最速の AI 推論ソリューションとされる Cerebras Inference を正式に発表しました。この Cerebras Inference は、Llama 3.1 8B (80 億パラメータ) モデルで最大 1,800 トークン/秒、Llama 3.1 70B で最大 450 トークン/秒のパフォーマンスを実現します。これは、Microsoft Azure を含む、現在世界中で利用可能なハイパースケール クラウドで利用可能な NVIDIA GPU ベースの AI 推論ソリューションよりも最大で約 20 倍高速です。

この新しい推論ソリューションは、驚異的なパフォーマンスに加え、サービス価格も非常に安く、一般的な GPU クラウド プラットフォームの価格のほんの一部です。たとえば、顧客はわずか 10 セントで 100 万トークンを取得できるため、AI ワークロードの価格パフォーマンスが 100 倍向上します。

Cerebras の 16 ビット精度と 20 倍の推論速度により、開発者は速度やコストを犠牲にすることなく、次世代の高性能 AI アプリケーションを構築できるようになります。この画期的な価格性能比は、Cerebras CS-3 システムと AI プロセッサ Wafer Scale Engine 3 (WSE-3) によって実現されました。 CS-3 は、Nvidia H100 の 7,000 倍のメモリ帯域幅を提供し、生成 AI のメモリ帯域幅の技術的課題を解決します。

Cerebras Inference は現在、次の 3 つのレベルで利用可能です。

• 無料レベルでは、サインアップしたすべての人に無料の API アクセスと寛大な使用制限が提供されます。
• 開発者層は、柔軟なサーバーレス展開向けに設計されており、市場の既存の代替品に比べてわずかなコストで API エンドポイントをユーザーに提供します。Llama 3.1 8B および 70B モデルの価格は、それぞれ 100 万トークンあたりわずか 10 セントと 60 セントです。
• エンタープライズ ティア プランでは、細かく調整されたモデル、カスタム サービス レベル アグリーメント、専用サポートが提供されます。永続的なワークロードに最適な Cerebras Inference は、Cerebras が管理するプライベート クラウドまたはオンプレミス経由で企業にアクセスできます。

記録的なパフォーマンス、競争力のある価格、オープン API アクセスを備えた Cerebras Inference は、オープン LLM の開発と展開の新しい標準を確立します。高速トレーニングと推論の両方を実現できる唯一のソリューションであるCerebrasは、AIにまったく新しい可能性をもたらします。

AI のトレンドが急速に進化し、NVIDIA が現在市場で支配的な地位を占める中、Cerebras や Groq のような企業の出現は、業界全体のダイナミクスに潜在的な変化が起こる可能性を示しています。より高速でコスト効率の高い AI 推論ソリューションの需要が高まるにつれ、Cerebras Inference のようなソリューションは、特に推論の分野で NVIDIA の優位性に挑戦する好位置に立っています。