今すぐ試せる9つのローカル/オフラインLLM

HuggingFace で量子 LLM が利用できるようになりました。また、H20、Text Gen、GPT4All などの AI エコシステムではLLM の重みをコンピューターにロードできるため、無料で柔軟かつ安全な AI の選択肢が得られます。今すぐ試すことができるベスト 9 のローカル/オフライン LLM をご紹介します。

目次

• 1. エルメス 2 プロ GPTQ
• 2. ゼファー7Bベータ
• 3. ファルコン・インストラクトGPTQ
• 4. GPT4ALL-J グルーヴィー
• 5. DeepSeek Coder V2 の指示
• 6. ミクストラル-8x7B
• 7. ウィザード ビクーニャ 無修正-GPTQ
• 8. オルカ ミニGPTQ
• 9. ラマ 2 13B チャット GPTQ

1.エルメス 2 プロ GPTQ

Hermes 2 Pro は、Nous Research によって微調整された高度な言語モデルです。これは、OpenHermes 2.5 データセットの更新されスリム化されたバージョンと、同社自身が開発した新しく導入された関数呼び出しおよび JSON データセットを使用します。このモデルは Mistral 7B アーキテクチャに基づいており、主に合成データである GPT-4 品質以上の 1,000,000 の指示/会話でトレーニングされています。

Mistral 7B の Hermes 2 Pro は、Hermes 7B の新しい主力モデルであり、AGIEval、BigBench Reasoning、GPT4All、TruthfulQA などのさまざまなベンチマークでパフォーマンスが向上しています。高度な機能により、コード生成、コンテンツ作成、会話型 AI アプリケーションなど、多くの自然言語処理 (NLP) タスクに適しています。

2.ゼファー7Bベータ

Zephyr は、役立つアシスタントとして機能するようにトレーニングされた一連の言語モデルです。 Zephyr-7B-Beta はシリーズの 2 番目のモデルであり、公開されている合成データセットの混合に対して直接選好最適化 (DPO) を使用して Mistral-7B-v0.1 から改良されました。

トレーニング データセットの組み込みアライメントを排除することで、Zephyr-7B-Beta は MT-Bench などのベンチマークでパフォーマンスが向上し、さまざまなタスクでの有用性が向上します。ただし、この調整により、特定の方法でプロンプトが表示された場合に問題のあるテキスト生成が発生する可能性があります。

3.ファルコン・インストラクトGPTQ

この量子化された Falcon バージョンは、TII の生の Falcon-7b モデルを改良したデコーダーのみのアーキテクチャに基づいています。基本的な Falcon モデルは、パブリック インターネットから取得した 1.5 兆個の未処理トークンを使用してトレーニングされます。 Apache 2 ライセンスのコマンドベースのデコーダーのみのモデルである Falcon Instruct は、言語翻訳やデータ取り込みに使用するモデルを探している中小企業に最適です。

ただし、このバージョンの Falcon は微調整には適しておらず、推論のみを目的としています。 Falcon を微調整したい場合は、生のモデルを使用する必要があります。そのためには、NVIDIA DGX や AMD Instinct AI Accelerators などのエンタープライズ グレードのトレーニング ハードウェアへのアクセスが必要になる場合があります。

4. GPT4ALL-J グルーヴィー

GPT4All-J Groovy は、Nomic AI によって調整され、Apache 2.0 でライセンスされたデコーダーのみのモデルです。 GPT4ALL-J Groovy は、プロンプトからテキストを生成するのに優れていることで知られるオリジナルの GPT-J モデルに基づいています。 GPT4ALL -J Groovy は会話型モデルに調整されており、高速でクリエイティブなテキスト生成アプリケーションに最適です。これにより、GPT4All-J Groovy は、詩、音楽、物語など、コンテンツ作成者の執筆や作文を支援するのに最適です。

残念ながら、ベースラインの GPT-J モデルは英語のみのデータセットでトレーニングされたため、この微調整された GPT4ALL-J モデルでも会話やテキスト生成アプリケーションは英語でしか実行できません。

5. DeepSeek Coder V2 の指示

DeepSeek Coder V2 は、プログラミングと数学的推論を強化する高度な言語モデルです。 DeepSeek Coder V2 は複数のプログラミング言語をサポートし、拡張されたコンテキスト長を提供するため、開発者にとって多用途なツールとなります。

DeepSeek Coder V2 は、前バージョンと比較して、コード、推論、および一般的な機能に関連するタスクが大幅に改善されています。プログラミング言語のサポートを 86 から 338 に拡張し、コンテキストの長さを 16K トークンから 128K トークンに拡張します。ベンチマークでは、暗号化および数学のベンチマークにおいて、GPT-4 Turbo、Claude 3 Opus、Gemini 1.5 Pro などのモデルよりも優れた性能を発揮します。

6.ミクストラル-8x7B

Mixtral-8x7B は、Mistral AI によって開発されたエキスパート モデル (MoE) の混合物です。 MLP ごとに 8 人のエキスパートがおり、合計 450 億のパラメータがあります。ただし、推論中にトークンごとにアクティブ化されるエキスパートは 2 人だけなので、計算効率が高く、速度とコストは 120 億のパラメータ モデルに匹敵します。

Mixtral は 32k トークンのコンテキスト長をサポートし、ほとんどのベンチマークで Llama 2 を 70B 上回り、GPT-3.5 のパフォーマンスと同等かそれ以上を実現します。英語、フランス語、ドイツ語、スペイン語、イタリア語など複数の言語に対応しており、さまざまな NLP タスクに幅広く対応できます。

7.ウィザード ビクーニャ 無修正-GPTQ

Wizard-Vicuna GPTQ は、LlaMA モデルに基づく Wizard Vicuna の量子バージョンです。一般に公開されているほとんどの LLM とは異なり、Wizard-Vicuna は関連付けが削除された無修正モデルです。これは、このモデルが他のほとんどのモデルと同じ安全性と倫理基準を満たしていないことを意味します。

AI アライメント制御に問題が生じる可能性がありますが、無修正 LLM を使用すると、制約なしに回答できるため、モデルの性能を最大限に引き出すことができます。これにより、ユーザーは、特定のプロンプトに基づいて AI がどのように動作または応答するかについて、独自のカスタム アライメントを追加することもできます。

8.オルカ ミニGPTQ

独自の学習方法を使用してトレーニングされたモデルをテストしたいとお考えですか? Orca Mini は、Microsoft の Orca 研究論文の非公式実装です。このモデルは教師と生徒の学習アプローチを使用してトレーニングされており、データセットにはプロンプトと応答だけでなく説明も含まれています。理論的には、従来の LLM のように単に入力と出力のペアを探すのではなく、モデルが問題を理解できるようになるため、学生はより賢くなるはずです。

9.ラマ 2 13B チャット GPTQ

Llama 2はオリジナルの Llama LLM の後継機種であり、パフォーマンスと汎用性が向上しています。 13B Chat GPTQ バリアントは、英語の対話に最適化された会話型 AI アプリケーション向けに調整されています。

上記のモデルの中には、仕様に関して複数のバージョンが存在するものもあります。一般的に、スペックの高いバージョンではより良い結果が得られますが、より強力なハードウェアが必要になります。一方、スペックの低いバージョンでは品質の低い結果が得られますが、低スペックのハードウェアでも実行できます。お使いの PC がこのモデルを実行できるかどうかわからない場合は、まずスペックの低いバージョンを試してみて、パフォーマンスの低下が許容できなくなるまで続けます。