Foxconn、MetaのLlama 3.1を改良した大規模言語モデル（LLM）を発表

iPhone やその他の Apple ハードウェア製品の製造で最もよく知られている Foxconn が、製造とサプライ チェーン管理の改善に使用することを目的とした、初の大規模言語モデル (LLM) である FoxBrain を発表し、皆を驚かせました。

台湾のメーカーによれば、FoxBrain はわずか 120 個の Nvidia H100 GPU でトレーニングされたという。この LLM は基本的に Meta の Llama 3.1 アーキテクチャに基づいて開発されており、蒸留によって 700 億のパラメータが使用されています。 LLM 改良の概念には、「親」モデルを使用し、その応答に基づいて「子」モデルをトレーニングすることが含まれます。 Foxconn はまた、自社の LLM は DeepSeek (中国) の改良モデルほど優れてはいないものの、全体的なパフォーマンスは世界水準に非常に近いことを認めました。

この成果について、鴻海研究所（フォックスコン）人工知能研究センター所長の李勇輝博士は次のように述べた。

ここ数か月、推論能力の向上と GPU の効率的な使用が AI 分野で徐々に大きなトレンドになってきました。当社の FoxBrain モデルは、計算能力を盲目的に蓄積するのではなく、トレーニング プロセスの最適化に重点を置いた、非常に効率的なトレーニング戦略を採用しました。

慎重に設計されたトレーニング方法とリソースの最適化を通じて、強力な推論能力を備えたローカル AI モデルの構築に成功しました。」

FoxconnはApple製品の組み立てだけでなく、NvidiaのAIサーバーも製造している。 FoxBrain は、120 個の H100 GPU とともに、Nvidia の Quantum-2 InfiniBand ネットワークを使用して拡張され、トレーニングには約 4 週間かかります (総計算コストは​​ 2,688 GPU 日)。 Foxconn は、コンテキスト ウィンドウの長さが最大 ​​128,000 トークンである、繁体字中国語で 980 億の高品質な事前トレーニング データ トークンを生成しました。

FoxconnとNvidiaの提携は目新しいものではなく、両社は世界最大のBlackwell GPU製造施設の建設など、他のプロジェクトにも取り組んでいる。

Nvidiaはまた、モデルの事前トレーニングプロセスを完了するために、FoxconnにTaipei-1スーパーコンピュータも提供した。フォックスコンは、フォックスブレインが同社の3つの主要プラットフォームであるスマート製造、スマート電気自動車、スマートシティをアップグレードするための「重要なエンジン」になると述べた。