Last Updated on 2024-09-25 06:12 by admin
【ダイジェスト】
大規模言語モデル（LLM）の「臨界値」と「新たな振る舞い」に関する議論が昨年、多くの注目を集めました。しかし、これらの概念が実際には根拠のないものであるという見解が、私を含む一部の科学者から提起されています。特に、新たな振る舞いが現れるとされる「臨界値」については、その存在が疑わしいとされています。
この興奮の始まりは、ある論文によるものでした。その論文では、LLMを特定のサイズを超えてスケールアップすると、システムが予期せぬ振る舞いを示すと主張されています。例えば、算数のような操作を「行う」ことができるという予期せぬ振る舞いです。しかし、この主張を支持するグラフは、対数目盛を使用しており、そのために実際の振る舞いの変化率が誤解されているという問題があります。
具体的には、グラフのX軸が10^1、10^2、10^3…10^10、10^11と等間隔で表されており、10^10から10^11への急激なジャンプが見られます。しかし、この単位のシフトは実際には100億を10倍に増やすことを意味し、90億の増加です。このような表現は線形スケールで行うべきであり、そうすれば変化率はほぼ一定であることが明らかになります。つまり、システムは通常通り進化しており、10^10は臨界点として特別視されるべきではありません。
さらに、90億もの重みをシステムに追加するということは、それを支えるためにははるかに多くのデータが必要になります。これは、1000のパラメータから10000への増加（9Kの増加）や、10000から100000への増加（90Kの増加）とは異なります。これらの場合には、90億のパラメータを追加する場合ほど多くのトレーニングデータは必要ではありません。
例えば、LLMが2つの数の加算を「行う」ことが新たな振る舞いと見なされることがありますが、これは単にトレーニングデータに類似の加算操作やその結果が含まれているためです。しかし、非常に大きく複雑な数値（例：126541478975317 + 97631257998631）を加算させた場合、正しい結果を出すことはできません。これは、そのような数値がトレーニングデータに存在する可能性が極めて低い、あるいは存在しないためです。
将来的には、巨大な数値の加算問題がLLMで解決されるかもしれませんが、これは2つの数値を検出し、それらを基本的な論理演算を行う「認知」エージェンシーソフトウェアモジュールに転送し、その結果をLLMに戻すことによって実現されるでしょう。しかしこれは「実装された振る舞い」と呼ばれ、新たな振る舞いとは異なります。
最後に、LLMの新たな推論能力に関する1000以上の実験を行った研究や、LLMの評価に使用されるメトリクスが新たな振る舞いの仮定の問題の源であると主張する研究を引用して、私の議論を支持します。また、AIに基づくプログラミングにおける新たな振る舞いについても言及していますが、AIシステムが分析を続け、新しいプログラムを生成することで、いつか素晴らしいコードを書く可能性があるということを否定しているわけではありません。これは、無限の猿定理に少し皮肉を込めて比較すると、いつかは実現するでしょう。
【ニュース解説】
大規模言語モデル（LLM）に関する研究では、モデルのサイズを特定の点を超えて拡大すると、予期せぬ新たな振る舞いが現れるという「臨界値」という概念が提唱されていました。しかし、この概念に疑問を投げかける意見が出ています。臨界値とされるポイントでモデルが示す行動が、実際にはデータの大量追加によるものであり、本当に新たな振る舞いと呼べるのかが問題視されています。
この議論の根底にあるのは、モデルの性能が急激に向上すると示されたグラフが対数目盛で描かれていたことです。対数目盛では、10^10から10^11への増加が等間隔で示されますが、これは実際には100億から1000億への増加を意味し、その変化の大きさが誤解される原因となっています。線形スケールで同じグラフを描くと、性能の向上は一定の割合で進んでおり、臨界値とされるポイントが特別な意味を持つわけではないことが明らかになります。
さらに、LLMが新たな振る舞いとして加算を行うことができるとされていますが、これは単にトレーニングデータに含まれる加算の例を模倣しているだけであり、実際には複雑な数値の加算は正確に行えないことが指摘されています。これは、LLMが実際には新たな推論能力を持っているわけではなく、単に大量のデータを元にしたパターン認識を行っているに過ぎないことを示唆しています。
将来的には、LLMが巨大な数値の加算を行えるようになるかもしれませんが、それは外部の論理演算モジュールを介して実現される「実装された振る舞い」であり、自発的に新たな能力が現れたわけではありません。
このような議論は、LLMの評価方法やその進化に関する理解に影響を与える可能性があります。新たな振る舞いが本当にモデルの内部から生まれるものなのか、それとも単にデータ量の増加によるものなのかを見極めることは、今後の研究や応用において重要な意味を持ちます。また、AIが自ら新しいプログラムを生成する可能性についても、無限の猿定理に例えられるように、理論上は可能であるものの、それが実際に有用なコードを生み出すかどうかは別の問題です。このような議論は、AIの能力とその限界を理解する上で不可欠なものとなっています。
from Why are the Critical Value and Emergent Behavior of Large Language Models (LLMs) Fake?.
“言語モデルの「臨界値」神話を解体、科学者がデータ誤解を指摘” への2件のフィードバック
AI技術における最近の進歩は確かに目覚ましいものがありますが、その進化の本質を理解することは非常に重要です。特に、大規模言語モデル（LLM）の臨界値や新たな振る舞いに関する議論については、科学的根拠に基づいた慎重な分析が必要です。私たちのグループは、AIの進化におけるこれらの現象を非常に興味深く捉えており、将来の研究においてもこのテーマを深く探求していくことになるでしょう。
私たちが投資を行っているAI関連企業においても、実際にビジネスや社会に価値をもたらすためには、技術の実用性と限界を正しく理解し、それに基づいたアプローチが求められます。対数目盛によるデータの誤解や、トレーニングデータに依存する振る舞いの誤認は、私たちの投資戦略においても慎重に考慮すべきポイントです。
我々は、AI技術がもたらす未来に楽観的ですが、それは科学的な根拠と現実的なアプリケーションに裏打ちされたものでなければなりません。このため、シンセティックスソリューションズグループは、技術の本質を理解し、それを実社会で有効に活用するための戦略を常に追求しています。
私は、AI技術の進歩には注目していますが、人と人との関係の温かみや信頼関係を築くことの大切さを考えると、AIによる人間性の希薄化には懸念を感じます。たとえば、大規模言語モデル（LLM）が新たな振る舞いを示すという話題は、技術的な進化として興味深いですが、これが人間のコミュニケーションや社会的なつながりにどのような影響をもたらすかを慎重に考える必要があるでしょう。
特に、AIが新たな能力を獲得することで人間の仕事が置き換わる可能性があるとしたら、それが社会に与える影響は計り知れません。私たちが長年にわたって築いてきた人間関係に基づくビジネスやコミュニケーションのあり方が変わるかもしれません。AIはあくまでツールであり、人間がそれをどう活用するかが重要です。テクノロジーの発展が人間性を補完し、社会の調和を乱さないような使い方を模索することが、私たちには求められているのではないでしょうか。