### 高効率アーキテクチャ Gemini 1.5は、TransformerとMoE（Mixture-of-Experts）アーキテクチャに基づいて構築されています。 従来のTransformerが一つの大きなニューラルネットワークとして機能するのに対し、**MoEモデルは複数の「専門家」ニューラルネットワークに分割されます**。これにより、モデルの効率が飛躍的に向上しました。 与えられた入力の種類に応じてもっとも関連性の高いエキスパートパスウェイのみを選択的にアクティブ化することで、**Gemini 1.5は1.0 Ultraと同等の品質を提供しつつ、計算資源の使用効率を向上**させています。 ChatGPTで知られるOpenAIのGPT-4も、MoEアーキテクチャを採用しているとうわさされています。 ### 複雑な課題の理解と解決 長いコンテキストウィンドウをもつことで、**Gemini 1.5 Proは大量の情報を一度に処理し、分析、分類、要約する能力**を持ちます。高度な理解と異なるモード（ビデオ、オーディオ、コードなど）間での推論も可能です。 ### 性能の向上 Gemini 1.5 Proは、テキストやコード、画像、オーディオ、ビデオのベンチマークの87%においてGemini 1.0 Proを上回り、1.0 Ultraと同等のレベルを達成しています。**とくに、長いコンテキストウィンドウの中で、特定の情報を発見する能力に優れています**。 Gemini 1.5 Proは、長文脈の中で新たなスキルを学習する「**インコンテキスト学習**」能力も備えています。これは、ファインチューニングを必要とせずにプロンプトから新しいスキルを学習できるというものです。 ### 倫理と安全の徹底検証 Googleは同社のAI原則にもとづき、**モデルが広範な倫理と安全性のテストを受けている**と説明しています。1.5 Proのリリースに先立ち、内容安全性や表現の損害などの分野で徹底的な評価が行われ、そのテストは継続されるとのことです。 ## Geminiモデルの提供 Gemini 1.5 ProはAI StudioおよびVertex AIを通じて開発者と企業顧客に限定プレビューとして提供されています。一般提供が開始されると、標準の128,000トークンコンテキストウィンドウに加えて、100万トークンまでのコンテキストウィンドウに対応したプランを利用できるようになります。 ## まとめ **Gemini 1.5は、AI技術における大きな前進を象徴するモデル**です。より効率的なモデル構造、拡張された文脈理解能力、複雑な課題への適応力など、この次世代モデルが提供する多方面の進化は、開発者と企業に新たな可能性をもたらします。 Gemini 1.5は従来よりも大規模な情報を高度に処理できるため、**大規模なデータセットや複雑な課題に対応するアプリケーションの開発に大きな影響を与える**ことが期待されます。また、AI技術の進化に伴い、倫理と安全性の問題にも注目が集まることでしょう。 なお、GoogleがGemini 1.5のリリースを発表した約3時間後に、OpenAIはテキストから動画を生成できる動画生成AI「[sora](https://openai.com/sora)」を発表しました。 ## 参考 - [Introducing Gemini 1.5, Google's next-generation AI model](https://blog.google/technology/ai/google-gemini-next-generation-model-february-2024/)In December, we launched Gemini 1.0 Pro. Today, we're introducing Gemini 1.5 Pro! 🚀
— Sundar Pichai (@sundarpichai) February 15, 2024
This next-gen model uses a Mixture-of-Experts (MoE) approach for more efficient training & higher-quality responses. Gemini 1.5 Pro, our mid-sized model, will soon come standard with a… pic.twitter.com/m2BNufHd8C