Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

I/O 2024で、Googleは次期Gemma 2モデルを発表し、ついにオープンソースライセンスの下で軽量モデルをリリースすることになった。新しい Gemma 2 27B モデルは、Llama 3 70B や Qwen 1.5 32B などの大型モデルよりも性能が優れており、非常に有望だと言われています。そこでこの主張を検証するために、現在トップのオープンソース モデルである Gemma 2 と Llama 3 を比較してみましょう。

創作文

まず、創造的な文章を書くという点において、Gemma 2 と Llama 3 がどれだけ優れているかを確認しましょう。記事の著者は両モデルに、月と太陽の関係についての短編小説を書くように依頼した。どちらも素晴らしい仕事をしていますが、Google の Gemma 2 モデルは、魅力的な文章と優れたストーリーにより際立っています。

Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?
Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

一方、Llama 3 は少し退屈でロボットのような見た目です。 Google は Gemini モデルでのテキスト生成が得意であり、小型の Gemma 2 27B も例外ではありません。

勝利の選択肢: ジェマ 2

多言語テスト

次のラウンドでは、両方のモデルが英語以外の言語をどれだけうまく処理できるかを見てみましょう。 Google は Gemma 2 が複数の言語を理解するのに優れていると宣伝しているため、著者はそれを Meta の Llama 3 モデルと比較しました。著者は両モデルにヒンディー語の文章を翻訳するよう依頼した。 Gemma 2 と Llama 3 はどちらも非常に優れたパフォーマンスを発揮しました。

Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?
Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

著者は別の言語であるベンガル語も試しましたが、モデルは同様に良好な結果を示しました。少なくともインドの言語に関しては、Gemma 2 と Llama 3 は大規模なコーパスで適切にトレーニングされていると言えます。ただし、Gemma 2 27B は Llama 3 70B より約 2.5 倍小さいため、さらに印象的です。

勝利の選択肢: ジェマ 2 とラマ 3

ロジックを確認する

Gemma 2 と Llama 3 は最も賢いモデルではありませんが、はるかに大きなモデルと同様に、いくつかの一般的な推論テストを実行できます。前回のLlama 3とGPT-4の比較では、Metaの70Bモデルは、小さいサイズでも非常に優れたインテリジェンスを示し、印象的でした。

Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?
Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

このラウンドでは、Llama 3 が Gemma 2 に大きなスコア差で勝利しました。ラマ 3 は 3 つの質問のうち 2 つに正しく答えましたが、ジェマ 2 は 1 つにも正しく答えるのに苦労しました。 Gemma 2 は、複雑な推論問題を解くようには訓練されていません。

一方、Llama 3 には強固な推論基盤があり、暗号化されたデータセットから推測できる可能性が非常に高いです。 GPT-4 のような 1 兆パラメータのモデルと比較すると、そのサイズは小さいものの、かなり高いレベルのインテリジェンスを発揮します。最終的には、より多くのトークンを使用してモデルをトレーニングすると、実際にはより強力なモデルが生成されます。

勝利の選択肢: ラマ3

指示に従ってください

次のラウンドでは、作者はジェマ2とラマ3に「NPU」で終わる単語を10個作るように依頼しました。そしてラマ3号は10問中10問正解しました。対照的に、Gemma 2 は 10 個の文のうち 7 個しか正しい文を生成しませんでした。以前のリリースの多くでは、Gemini を含む Google モデルはユーザーの指示にうまく従っていませんでした。そして、同じ傾向がGemma 2でも続いています。

Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?
Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

AI モデルにとって、ユーザーの指示に従うことは非常に重要です。信頼性を確保し、指示した内容に対する正確なフィードバックを生成します。安全面でも、モデルを接地した状態に保ち、安全プロトコルへの準拠を向上させるのに役立ちます。

勝利の選択肢: ラマ3

情報を探す

Gemma 2 と Llama 3 の両方のコンテキストの長さは 8K トークンです。著者は、『高慢と偏見』という本から直接引用した、17,000 文字以上、3.8K トークンを超える膨大なテキスト ブロックを追加しました。いつものように、著者はテキストのどこかにランダムな引用を配置し、両方のモデルにそれを探すように依頼します。

Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

ジェマ2はすぐにその情報を理解し、引用がランダムに挿入されていることを指摘しました。ラマ 3 もこの主張は場違いであると考え、それを示唆しました。長いコンテキスト メモリに関しては、8K トークンに制限されていますが、両方のモデルともこの点では非常に強力です。

なお、著作権コンテンツのため、meta.ai はこのプロンプトの実行を拒否したため、著者は HuggingChat (Web) でこのテストを実行しました。

勝利の選択肢: ジェマ 2 とラマ 3

幻覚の有無を確認する

小規模なモデルでは、トレーニング データが限られているために AI 幻覚が発生しやすく、モデルが未知のトピックに遭遇したときに情報を捏造してしまうことがよくあります。そこで著者は、ジェマ 2 とラマ 3 が幻覚を見ているかどうかをテストするために、架空の国名を登場させました。そして驚くべきことに、そうはならなかった。つまり、Google と Meta はどちらも、それぞれのモデルにかなり優れた基盤を持っているということだ。

Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?
Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?
Gemma 2 と Llama 3 のどちらが最高のオープンソース モデルでしょうか?

著者はモデルの妥当性をテストするために別の(誤った)質問も提起しましたが、やはり幻覚的なものではありませんでした。ちなみに、著者は、meta.ai がインターネットで関連トピックの最新情報を閲覧している間に、HuggingChat で Llama 3 をテストしました。

勝利の選択肢: ジェマ 2 とラマ 3

結論する

Google の Gemma 2 27B モデルは推論テストでは良い成績を収めていないものの、他の多くのタスクは実行できます。クリエイティブな文章を書くのに最適で、複数の言語をサポートし、メモリも優れており、何よりも以前のモデルほど幻覚的ではありません。

もちろん、Llama 3 の方が優れていますが、700 億のパラメータでトレーニングされた、かなり大規模なモデルでもあります。開発者は、Gemma 2 27B モデルが幅広いユースケースに役立つことに気付くでしょう。さらに、Gemma 2 9B もご利用いただけます。

さらに、ユーザーは、Gemini 1.5 Flash もチェックしてみてください。これもまた、はるかに小型のモデルであり、マルチモーダル入力もサポートしています。言うまでもなく、それは信じられないほど高速かつ効率的です。

Leave a Comment

Microsoft Teamsの予期しないダウンロードエラーを修正する方法

Microsoft Teamsの予期しないダウンロードエラーを修正する方法

Microsoft Teamsのダウンロードエラー「予期せぬエラー」でワークフローが滞っていませんか?専門家によるステップバイステップガイドと、クイックフィックスと高度なヒントで、すぐに問題を解決できます。再インストールは不要です!

Teams 会議でブレイクアウト ルームが表示されないのはなぜですか?

Teams 会議でブレイクアウト ルームが表示されないのはなぜですか?

Teams 会議でブレイクアウトルームが表示されなくて困っていませんか?Teams でブレイクアウトルームが表示されない主な原因を解説します。ステップバイステップの解決方法に従って、数分でスムーズに機能するようにしましょう。主催者にも参加者にも最適です!

Microsoft Teams OneDriveのファイル同期エラーの解決

Microsoft Teams OneDriveのファイル同期エラーの解決

Microsoft Teams OneDriveのファイル同期エラーにうんざりしていませんか?ステップバイステップガイドに従って、Microsoft Teams OneDriveのファイル同期エラーを素早く解決しましょう。Teamsチャンネルでのスムーズな共同作業に役立つ実証済みの修正プログラムをご用意しています。今すぐエラーのないファイル同期を実現しましょう!

Microsoft Teams のハードエラーを修正する方法(2026 レジストリ修正)

Microsoft Teams のハードエラーを修正する方法(2026 レジストリ修正)

Microsoft Teamsがハードエラーでクラッシュするのにうんざりしていませんか? わずか数分で解決できる、実績のある2026レジストリ修正プログラムを入手しましょう。ステップバイステップガイド、スクリーンショット、そして永続的な問題解決のためのヒントをご紹介します。最新バージョンで動作します!

Microsoft Teamsチュートリアルヘルプエラーのトラブルシューティング

Microsoft Teamsチュートリアルヘルプエラーのトラブルシューティング

Microsoft Teamsチュートリアルヘルプのエラーでお困りですか?このよくある問題に対する、実証済みのステップバイステップの解決策をご覧ください。キャッシュをクリアし、Teamsを更新するなど、すぐにシームレスなコラボレーションを取り戻しましょう!

Microsoft Teams エラーのトラブルシューティング: 最初に確認すべきこと

Microsoft Teams エラーのトラブルシューティング: 最初に確認すべきこと

Microsoft Teamsでエラーが発生していますか?このMicrosoft Teamsのトラブルシューティングガイドでは、エラーを迅速に解決するための最初のチェックポイントをステップバイステップでご紹介します。接続、キャッシュ、アップデートに関するクイックフィックスで、スムーズなチャットを再開できます。

Microsoft Teams アドインが Outlook に表示されないのはなぜですか?

Microsoft Teams アドインが Outlook に表示されないのはなぜですか?

Outlook に Microsoft Teams アドインが表示されなくて困っていませんか?主な原因と簡単なステップバイステップの修正方法をご紹介します。Teams と Outlook のシームレスな連携を簡単に復元できます。最新バージョンでご利用いただけます。

公共Wi-FiでのMicrosoft Teamsネットワークエラーの解決方法

公共Wi-FiでのMicrosoft Teamsネットワークエラーの解決方法

公共Wi-FiでMicrosoft Teamsのネットワークエラーに悩まされていませんか?VPNの調整、ポートチェック、キャッシュクリアなどの即時修正で、通話や会議をスムーズに復旧できます。ステップバイステップガイドですぐに問題を解決できます。

Microsoft Teams のステータスが「離席中」のままになっているのはなぜですか?

Microsoft Teams のステータスが「離席中」のままになっているのはなぜですか?

Microsoft Teamsのステータスが「離席中」のままになって困っていませんか?アイドルタイムアウトや電源設定など、よくある原因と、すぐに「対応可能」に戻すためのステップバイステップの修正方法をご紹介します。最新のTeams機能にアップデートしました。

Microsoft Teams のようこそ画面の起動ループのトラブルシューティング

Microsoft Teams のようこそ画面の起動ループのトラブルシューティング

Microsoft Teamsのようこそ画面の起動ループに悩まされていませんか?Microsoft Teamsのようこそ画面の起動ループを解消するための実証済みのトラブルシューティング手順をお試しください。キャッシュのクリア、アプリのリセット、再インストールが可能です。数分でシームレスなコラボレーション環境を取り戻せます!

Microsoft Teamsはなぜ遅いのか?2026年にスピードアップするための10のヒント

Microsoft Teamsはなぜ遅いのか?2026年にスピードアップするための10のヒント

Microsoft Teams の遅延にイライラしていませんか?Microsoft Teams が遅い理由を解明し、2026 年に劇的に高速化するための 10 の実証済みヒントを適用して、スムーズなコラボレーションを実現しましょう。

Microsoft Teams のショートカット エラーと起動時のクラッシュを解決する

Microsoft Teams のショートカット エラーと起動時のクラッシュを解決する

Microsoft Teamsのショートカットエラーでワークフローが滞っていませんか?Microsoft Teamsのショートカットエラーや起動時のクラッシュを解決し、スムーズなコラボレーションを実現する実証済みの手順をご紹介します。素早く簡単に解決できる方法を解説しています。

直接リンク経由でMicrosoft Teamsの会議参加エラーを解決する

直接リンク経由でMicrosoft Teamsの会議参加エラーを解決する

Microsoft Teamsの会議参加エラーでお困りですか?直接リンクから解決方法をご確認ください。シームレスに参加するためのクイックフィックス - 技術的なスキルは必要ありません!

Chromebook で Microsoft Teams のログインエラーを修正する方法

Chromebook で Microsoft Teams のログインエラーを修正する方法

Chromebook で Microsoft Teams のログインエラーに困っていませんか?ログイン問題を素早く解決するためのステップバイステップの解決策をご紹介します。キャッシュのクリア、アプリのアップデートなど、スムーズなチームワークを実現しましょう。最新の Chrome OS で動作します!

Teamsカレンダーはどこにありますか?同期の問題のトラブルシューティング

Teamsカレンダーはどこにありますか?同期の問題のトラブルシューティング

Teamsのカレンダーがどこにあるのか分からず困っていませんか?Microsoft Teamsの同期に関する問題をステップバイステップで解決しましょう。専門家のヒントも満載で、カレンダービューを復元して簡単に同期できます。