Gemma 2: AIの未来を切り開く次世代大規模言語モデル

Gemma 2の概要と特徴

Gemma 2の詳細

トレーニングデータの増加

• Gemma 2 9B: 8兆トークンでトレーニング
• Gemma 2 27B: 13兆トークンでトレーニング
• トレーニングデータは主にWebデータ、コード、数学で構成されており、モデルの汎用性を向上させています。

スライディングウィンドウの注意

• 他のレイヤーは4096トークンのローカルコンテキストを使用
• 交互レイヤーは8192トークンのグローバルコンテキストを使用
• この効率性と長距離依存関係のバランスが取れたアプローチが特徴的です。

ソフトキャッピング

• 過度に大きなロジットを抑えることで、トレーニングの安定性とパフォーマンスを向上させています。

知識の蒸留

• 9Bモデルは大規模な教師モデルから学習し、27Bモデルとの間でポリシー蒸留を行うことで、より小さなモデルでも大きなモデルの機能を取り入れられるようになっています。

モデルのマージ

• 複数のモデルを段階的に結合する新しい技術「Warp」を採用しており、より堅牢で高性能な最終モデルを作成することを目的としています。

Gemma 2: 27Bと9Bモデルの性能比較

27Bと9Bモデルの性能比較

• Gemma 2には、90億パラメータ(9B)と270億パラメータ(27B)の2種類のモデルが用意されている
• 270億パラメータモデルは、その2倍以上のサイズのモデルに匹敵する回答を提供できるとされている
• 一方、90億パラメータモデルは、Metaの「Llama 3」の80億パラメータモデルや同サイズの他のオープンモデルを凌ぐ、クラス最高の性能を発揮するとされている

• Gemma 2は、パラメータ数が大幅に少ないにもかかわらず、より大規模なモデルと競争力のある、時には優れたパフォーマンスを発揮している
• これは、Gemma 2が言語理解、推論能力、知識活用の面で高い能力を備えていることを示している
• Gemma 2は、学術的なベンチマークテストや人間による評価を通じて、その安全性と倫理的な振る舞いが確認されている

• Gemmaは、20億パラメータと70億パラメータの2種類のモデルがあり、開発者のニーズに合わせてカスタマイズが可能

• Gemma 2は、知識蒸留技術を活用することで、同規模の他のオープンソースモデルを大きく上回る性能を実現した
• 質問応答、常識推論、数学・科学的推論、プログラミングなど、幅広い分野でのベンチマークテストと人間による評価で高い成績を収めている

AIの民主化とビジネスへの影響

NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表

Mistral NeMoの特徴

• NVIDIAのAIプラットフォームで利用可能で、GPU最適化技術「NVIDIA NeMo」を活用して学習処理を実行
• 多言語対応モデルで、特に日本語、英語、中国語、韓国語などの性能が優れている
• 新開発のトークナイザ「Tekken」を採用し、言語によっては従来のトークナイザと比べて3倍以上の効率でトークン化が可能
• ベースモデルと微調整版がHugging Faceで公開されており、Apache License 2.0のもと商用利用も可能

Mistral NeMoの性能比較

Axcxept社、9B小型AIモデルで日本語処理に革新

最適化の壁を超える性能向上

ベンチマーク結果

日本企業のためのAIソリューション

革新的なファインチューニング手法

効率的な開発速度

モデルページ

• 汎用モデル
• Humanities重点強化モデル

お試し環境

Secure Chat+サービス

Gemma2 - Googleの新型オープンソース生成AI

• Gemma2は、Googleが開発した新しいオープンソースの生成AIモデルです。
• 27Bモデルは、リーダーボードで12位と大型モデルに肉薄する優秀な成績を誇っています。
• モデルアーキテクチャは、decoder-only transformerを採用し、Local Sliding Window Attentionと Global Attentionを交互に使用しています。
• トレーニングデータは、主に英語のウェブ文書、コード、科学論文などから得られた13兆トークンです。
• 9Bモデルと2.6Bモデルには、大型モデルからの知識蒸留が採用されており、小型モデルの性能向上に寄与しています。
• ポストトレーニングでは、テキストのみの英語合成データと人間生成プロンプト-応答ペアを使ったfine-tuningとRLHFが行われています。
• Gemma2は、小型でも高い潜在能力を持つモデルとして期待されており、2.6Bモデルの近々のリリースが待たれています。

Googleから電撃リリースされたGemma2が有能

優れた性能

• 27BのGemma 2は、そのサイズクラスで最高の性能を発揮し、2倍以上のサイズのモデルと競合できる性能を提供します。
• 9BのGemma 2モデルも、クラス最高の性能を発揮し、Llama 3 8Bや同サイズの他のオープンモデルを上回る性能を示しています。

優れた効率性とコスト削減

• 27BのGemma 2モデルは、Google Cloud TPUホスト、NVIDIA A100 80GB Tensor Core GPU、またはNVIDIA H100 Tensor Core GPUで、高性能を維持しながら、効率的に推論を実行するように設計されています。

あらゆるハードウェアでの高速推論

• Gemma 2は、高性能な