Last Updated on 2023-12-21 17:52 by
from GPT and other AI models can't analyze an SEC filing, researchers find.
大規模な言語モデルは、SEC（米国証券取引委員会）の提出書類からの質問に対してしばしば失敗し、特に金融などの規制された産業において、顧客サービスや研究のために最先端の技術を導入しようとする大企業にとって、AIモデルが直面するいくつかの課題を浮き彫りにすることが新たな研究で明らかになった。特にChatGPTの中心にあるものと類似した大規模言語モデルは、SEC提出書類からの質問に答えることができないことが分かった。これにより、金融業界などでのAIモデルの導入におけるいくつかの課題が浮き彫りになった。Patronus AIの共同創設者であるAnand Kannappan氏は、「そのような性能は完全に受け入れがたい」と述べ、「自動化および本番向けに本当に機能するためには、はるかに高くなければならない」と語った。Patronus AIは、SEC提出書類からの質問に関する10,000以上の質問と回答からなるデータセット「FinanceBench」を作成し、これを使用して4つの言語モデルをテストした。その結果、大規模言語モデルは、正確な回答を提供することができないことが明らかになった。これにより、金融業界などでのAIモデルの導入におけるいくつかの課題が浮き彫りになった。
