GoogleがAIの幻覚を軽減する「DataGemma」を公開

近年話題になっているChatGPTをはじめとした大規模言語モデル（LLM：Large Language Model）は、ときに事実とは異なる情報をあたかも真実のように出力する「幻覚」と呼ばれる現象を起こすことがあります。

Googleは、この幻覚問題に対処する新たな言語モデル「DataGemma」を発表しました。DataGemmaは、Googleのもつ膨大な実世界のデータを活用することで、LLMの信頼性向上を目指しています。

AIの幻覚（ハルシネーション）とは？

AIの幻覚（ハルシネーション）とは、LLMが事実とは異なる情報を、あたかも真実であるかのように生成してしまう現象を指します。

たとえば、存在しない出来事をあたかも実際に起きたことのように記述したり、誤った情報を自信満々に提示したりすることがあります。

幻覚は、LLMの利用において深刻な問題を引き起こす可能性があります。

たとえば、LLMが生成した誤った情報にもとづいて重要な意思決定をしてしまうと、大きな損失につながる可能性があります。また、幻覚によって生成された偽情報が拡散されることで、社会的な混乱を招く可能性もあります。

DataGemmaとは？

DataGemmaは、Googleが開発したオープンな言語モデルで、LLMの幻覚問題に対処するために設計されています。最大の特徴は、Googleの「Data Commons」と呼ばれる、信頼性の高い実世界の統計データを利用している点です。

Data Commonsは、国連（UN）、世界保健機関（WHO）、アメリカ疾病予防管理センター（CDC）、国勢調査局など、信頼できる機関から収集された2,400億件以上のデータポイントを含む、公開されているナレッジグラフです。

ナレッジグラフとは、さまざまな情報を結びつけて構造化したデータベースのことです。Data Commonsのナレッジグラフは、健康、経済、人口統計、環境など、幅広いトピックに関する情報を網羅しています。

DataGemmaは、このData Commonsの膨大なデータを利用することで、LLMが生成する情報の正確性を高め、幻覚を抑制します。

DataGemmaはHugging Faceで公開されており、研究目的で利用できます。なお、商用利用や一般利用の準備はできていないとのことです。

同日にOpenAIは、複雑な問題を思考して解決するAIモデル「OpenAI o1」を発表しています。

OpenAIが複雑な問題解決に特化したモデル「OpenAI o1」を発表！料金や使い方、プロンプトのコツまで解説

2024年9月12日（現地時間）、OpenAIは、複雑な問題の解決に特化した新しいAIモデルシリーズ「OpenAI o1」を発表しました。この記事では、OpenAI o1の特徴や料金、使い方について詳しく解説します。

2024年9月13日

RIGとRAG

DataGemmaは、LLMの幻覚を抑制するために、次の2つのアプローチを採用しています。

1つ目のアプローチは、RIG（Retrieval-Interleaved Generation） です。

これは、応答を生成する際にData Commonsを参照し、事実確認をする手法です。LLMが統計データに関する記述を生成する際に、Data Commonsからデータを取得し、そのデータとLLMの生成内容を比較することで情報の正確性を確認します。

2つ目のアプローチは、RAG（Retrieval-Augmented Generation） です。

これは、応答を生成する前にData Commonsから情報を取得し、その情報をLLMの入力として追加する手法です。これにより、LLMはより多くの文脈（コンテキスト）を考慮しながら応答を生成でき、幻覚のリスクを低減できます

DataGemmaの今後

DataGemmaは、LLMの幻覚に対処するための重要な一歩となる可能性があります。Data Commonsの膨大なデータを利用することで、LLMの信頼性を向上させることが期待されます。

Googleは、DataGemmaの研究開発を継続し、将来的にはGemmaやGeminiなどの他の言語モデルにも研究成果を統合していく予定とのことです。

まとめ

Googleは、LLMの幻覚問題に対処する新たな言語モデル「DataGemma」を発表しました。DataGemmaは、Googleのもつ膨大な実世界のデータを活用することで、LLMの信頼性向上を目指しています。

DataGemmaは、Data Commonsと呼ばれるナレッジグラフを利用して、LLMの生成情報の正確性を高め、幻覚を抑制します。モデルの重みはHugging Faceで公開されており、研究目的で利用できます。

Googleは、DataGemmaの研究開発を継続し、将来的には他の言語モデルにも研究成果を統合していく予定です。

参考

• DataGemma: AI open models connecting LLMs to Google’s Data Commons