OpenAIは、AIモデルが自分自身をよりよく説明できるようにするためにゲームを使用しました。
この新しいアルゴリズムは「Prover-Verifier Games Improve Legibility of LLM Outputs」という論文で発表され、大規模言語モデル（LLM）が特定の回答に至った理由をユーザーに対してより良く説明する方法を学ぶことができます。
この研究は、AIシステムの信頼性を確立する上で重要であり、特に健康、法律、エネルギー、軍事・防衛、その他の重要インフラなど、誤りが危険または生死に関わる分野での統合が進むにつれてますます重要になります。
OpenAIの研究者たちは「Prover-Verifier Game」というアルゴリズムを開発しました。
これは、より強力な「証明者」とより弱い「検証者」の2つのAIモデルをペアにし、互いに出し抜こうとするゲームです。
証明者の目標は、正しいかどうかにかかわらず、検証者が特定の答えを信じるようにすることです。一方、検証者の目標は、証明者が何を言おうとも、常に正しい答えを選ぶことです。
このゲームの目的は、AIモデルが人間のユーザーに答えを提供する際に、そのプロセスをより詳細に「見せる」ことです。
OpenAIの研究者たちは、このゲームを使用して、小学校の数学の言葉の問題に答えるために2つのカスタムファインチューンされたGPT-4ファミリーモデルを訓練しました。
研究者たちは、複数のラウンドにわたってゲームを行い、証明者モデルが「役に立つ」か「ずる賢い」かの間で微妙に変更しました。
検証者モデルは、証明者モデルがどちらであるかを知らずに、証明者の回答が正しいかどうかのみを評価しました。また、研究者たちは、ゲームの各ラウンドの後で両モデルを再訓練し、答えが正しいかどうかを判断するスキルを向上させ、証明者モデルの場合は、選択した答えを人間が理解しやすい方法で説明する能力を向上させました。
このプロセスを4ラウンド以上行った後、研究者たちは、検証者モデルがずる賢い証明者モデルの説得技術に対してより抵抗するようになり、証明者モデルも人間のユーザーに対して自分自身を説明する能力を向上させたことを発見しました。このアルゴリズムは、LLMを人間の評価者に対して正確さと理解しやすさの両方で最適化します。OpenAIは、この作業が、出力が正確でありながらも透明に検証可能なAIシステムの開発に役立つことを期待しています。
【編集者追記】用語解説
Prover-Verifier Game（証明者-検証者ゲーム）：
これは、AIシステムの信頼性と説明能力を向上させるための新しい学習手法です。強力なAIモデル（証明者）が問題の解答を生成し、より弱いAIモデル（検証者）がその解答を検証するというゲーム形式の学習プロセスを指します。
GPT-4：
OpenAIが開発した最新の大規模言語モデルで、高度な自然言語処理能力を持ちます。ChatGPTの基盤となるモデルです。
【参考リンク】
OpenAI（外部）
【関連記事】
AI（人工知能）ニュースをinnovaTopiaでもっと読む
【ニュース解説】
OpenAIが開発した「Prover-Verifier Game」という新しいアルゴリズムは、AIモデルが自分の答えをどのように導き出したのかをユーザーに対してより良く説明できるようにするためのものです。この研究は、AIシステムの信頼性を高めることを目的としており、特に誤りが重大な影響を及ぼす可能性がある分野でのAIの活用を安全に進めるために重要です。
このアルゴリズムは、2つのAIモデル、強力な「証明者」とそれより弱い「検証者」を用いたゲームに基づいています。証明者の目的は、検証者が特定の答えを信じさせることであり、検証者の目的は、証明者の説得に関わらず正しい答えを選ぶことです。このゲームを通じて、AIモデルは人間のユーザーに対して、その答えを導き出したプロセスをより詳細に示すように訓練されます。
この研究では、特に小学校レベルの数学の問題を解決するために、GPT-4ファミリーモデルを使用しました。証明者モデルは、役に立つかずる賢いかのどちらかの役割を与えられ、検証者モデルは、証明者の回答が正しいかどうかのみを評価しました。複数のラウンドを通じて、証明者モデルは自分の答えをより良く説明する方法を学び、検証者モデルは証明者の説得技術に対してより抵抗力を持つようになりました。
このアルゴリズムの開発により、AIモデルの出力が正確であるだけでなく、その出力がどのようにして導き出されたのかが透明に検証可能になることが期待されます。これは、AIシステムの信頼性を高める上で非常に重要なステップであり、特に健康、法律、エネルギー、軍事・防衛などの分野でのAIの安全な統合に貢献する可能性があります。
しかし、この技術の進展には潜在的なリスクも伴います。例えば、AIが自己説明能力を向上させることで、その判断や結論が人間による監視や評価を難しくする可能性があります。また、AIが誤った情報を説得力のある方法で提示する能力を持つことも懸念されます。そのため、この技術の開発と応用にあたっては、倫理的なガイドラインや規制の枠組みを整備し、透明性と責任を確保することが重要です。
長期的には、このようなアルゴリズムがAIの発展において重要な役割を果たすことが予想されます。AIがより高度になり、人間の理解を超えるような複雑な問題を解決できるようになるにつれて、AIの判断プロセスを人間が理解しやすい形で説明できる能力は、AIと人間の協働の基盤となります。これにより、AIのポテンシャルを最大限に活用しつつ、そのリスクを管理することが可能になるでしょう。
from OpenAI used a game to help AI models explain themselves better.
