Grokのファクトチェックとは？AIの落とし穴に注意

近ごろ、X（旧Twitter）では「Grok」と呼ばれる生成AIにファクトチェックを求めるリプライが急増している。話題となった投稿のリプライ欄に「@grok ファクトチェック」と書き込み、投稿内容の真偽を検証させるというものだ。

しかし、Grokのような生成AIにファクトチェックをさせる行為は、危険性をはらんでいる。この記事では、生成AIの仕組みや具体的な数値を交えながら、Grokによるファクトチェックの落とし穴について解説する。

Grokとは？

Grokは、イーロン・マスク率いるxAIが開発している大規模言語モデル（LLM）だ。xAIは、ChatGPTなどで知られるOpenAIに対抗して2023年に設立されたAI開発企業で、2025年3月にはXを買収した。

GrokはXと非常によく統合されており、XのアプリやWebサイトの専用タブから利用できるほか、「@grok」とメンションすればタイムライン上で直接会話できる。

また、Web検索機能に加え、X上のリアルタイムの投稿を参照して回答する機能があるため、競合他社のLLMと比較してリアルタイム情報に非常に強い。とくに、ニュースやスポーツ速報、災害情報といったリアルタイムで更新される情報に対応できる。

Grokの落とし穴

Xと完全に統合されておりリアルタイムの投稿を参照できるというGrokの特徴は、強みであると同時に弱みでもある。

というのも、Grokが参照する投稿は、さまざまな個人や組織によるものが含まれており、その正確性や信頼性は保証されていないためだ。X上の投稿には、誤った情報が含まれているケースや、意図的な冗談やフェイクニュースなども多く存在する。

LLMは必ずしも情報の正確性や質を客観的に判断できるとは限らないため、Grokは信ぴょう性の低い情報を真実として解釈し、誤ったファクトチェック結果を返す可能性がある。

また、生成AIが抱える根本的な問題として「ハルシネーション（幻覚）」が挙げられる。ハルシネーションとは、LLMが実際には存在しない情報や誤った情報をまるで真実のように出力する現象だ。

さまざまなLLMがどれくらいの頻度でハルシネーションを起こすのかをまとめたランキングである「Hallucination Leaderboard」によれば、記事執筆時点でGrokの旧バージョン（Grok 2）におけるハルシネーションの頻度は1.9%とされている（最新モデルのGrok 3のデータは掲載されていなかった）。

1.9%は比較的小さな数字に思えるかもしれないが、もっともハルシネーションの割合が少ないGoogle Gemini-2.0-Flash-001の0.7%に比べれば2倍以上の頻度で誤りが起こっていることになる。

なお、Hallucination Leaderboardは文書を要約するタスクでハルシネーションの頻度を計測するものであり、コンテキスト（文脈）として与えられていない情報を出力する際の正確性や、情報の信頼性を評価する能力を示したものではないことに注意が必要だ。

もうひとつ重要な問題として、LLMの回答は開発手法によってゆがめられることがあるということが挙げられる。

最近のLLMの開発には、人間のフィードバックによる強化学習（Reinforcement Learning from Human Feedback：RLHF）という手法が取り入れられており、より人間が好む回答をするように調整されている。

強化学習は、AIの出力に対して報酬または罰を与え、報酬が最大化するようにAIを訓練する手法だ。人間が好む回答をするように強化学習でLLMを訓練するには、人間がLLMの回答を評価した結果をもとに、LLMに報酬または罰を与える必要がある。

強化学習には大量のデータが必要だが、人力で十分な量の評価データを作成することは困難である。

そこで、RLHFでは、1つのプロンプトに対してLLMが生成した複数の回答からより好ましいものを人間が選択し、その選択結果をもとに訓練した報酬モデルでLLMに報酬や罰を与える。これにより、人間の価値観を反映させつつ、大量のデータを効率的に評価できる。

ChatGPTを使っているときに2種類の回答が生成され、「どちらの回答がお好みですか？」とたずねられることがあるが、これはRLHFのためのデータを収集しているものと考えられる。

RLHFでは人間が好む回答をするようにLLMを訓練するため、LLMが人間に“忖度”した回答をするようになってしまう可能性がある。学習データの傾向とRLHFに起因して、とくに政治的や社会的にセンシティブな話題に対しては、ユーザーが好むような回答を生成しやすくなる。

Grokのファクトチェックは信頼できるのか？

では、Grokのファクトチェックは信頼できるのか。ひと言でいえば、「必ずしも信頼できるとは限らない」が答えとなる。

Grokによるファクトチェックには明確なリスクがある。ひとつは情報源となるリアルタイムの投稿が誤っている可能性、もうひとつは生成AI自身のハルシネーションによる誤情報の出力、さらに人間の好みに忖度した偏りのある回答という問題がある。

これらの要因が組み合わさることで、Grokは誤った情報を真実として出力することがある。たとえば、ある投稿が誤っている場合、その誤った情報をソースとしてGrokがファクトチェックすると、正しい情報を提供できないことになる。

一般常識や広く知られている明らかな事実については、学習データの多さから比較的正確な回答が期待できる。しかし、絶対に誤った情報を出力しないとまでは言い切れないため、注意が必要だ。

したがって、Grokのファクトチェックをうのみにすることは避け、重要な情報の真偽の判定には、複数の信頼できる情報源を併用することが重要だ。とくに、重要な事柄や公共性、社会的影響が大きい情報については、専門的なファクトチェック団体や公的機関の公式発表を参考にするなど、慎重な判断を心がけるべきだろう。