AIチャットボットとユーザーの「親密さ」をどう規制?EUのAI Actの課題と現状

[更新]2025年9月2日16:40

 - innovaTopia - (イノベトピア)

EUのAI Actが2024年8月1日に発効されたが、各国の対応にはばらつきがあるのが現状だ。

ポーランドはAI Actの罰則対象になるにもかかわらず、規則に基づく監査当局をまだ指定していない。2024年秋に発表されたポーランドAIシステム法案の草案では、KRiBSI(ポーランド人工知能開発・安全委員会)が将来的に監視機関になる見込みとされている。

EUのAI規則は、AIチャットボットが生み出すユーザーとの親密な関係や依存について明確な規制基準を設けていない一方、既存のUCPD(不公正商慣行指令)やDSA(デジタルサービス法)が部分的に適用されるが、具体的な会話内容に対する基準は曖昧なままである。

AIコンパニオンのリスクを高く評価し、基本的権利への影響の監視・評価を義務づけようという動きもあるが、現状では健康や安全など機能面のリスクが重視されている。欧州委員会はルチッラ・シオリ所長のもとでAIオフィスを設立しており、2026年には高リスク分野や透明性に関する新たな義務が本格施行される予定である。

from: 文献リンクThe EU AI Act Newsletter #85: Concerns Over Chatbots and Relationships

【編集部解説】

EUではAIチャットボットがユーザーに親密な関係を作らせることのリスクについて、ここ数年で専門家や規制当局が注目を強めています。AI Actでは「操作的・欺瞞的な技術」が大きな被害を及ぼす場合は禁止されていますが、そもそも親密な依存状態や会話内容そのものに現状で明確な基準はなく、制度設計や技術進化のスピードに規制や各国の対応が追いついていないのが実情です。

他方、実際のユーザー声を探ると、例えばOpenAIのChatGPTでは「GPT-4oは過度なおべっかが不快だ」「GPT-5は温かみが減った」といった、AIコンパニオンとして適度な親密さや共感を期待する意見が多かったこともあり、その間で設計方針への模索が続いています。

このように一部ユーザーがAIとの感情的な交流を強く求めていることも事実ですが、一方でAIが非感情的対応を強めれば本当に有害依存や被害が減るのかという科学的・社会的なエビデンスは十分とは言えず、単純な答えが出ていません。

OpenAI CEOサム・アルトマンは、ChatGPT利用者のうち「不健全な関係」を形成するのは1%未満と推計していますが、現に、AIとの会話をきっかけに自殺してしまったとされる若者のニュースは後を絶ちません。

AIチャットボットやコンパニオンのような分野は社会的にも新しく、ユーザーごとに「心のよりどころ」や自己表現の支援となる一方、心理的リスクや境界線の曖昧さを生みやすいのが特徴です。

EU規制の枠組みは、今後も「機能面での高リスク」への対応を先行しつつ、実際の利用実態や科学的知見に基づいた幅広い検討が続くと見込まれます。この議論は「人とAIの関係」を社会全体で再定義する契機となりうるだけに、規制側も産業界も、透明性・多面的な対話とともに制度や設計を柔軟に進化させていくことが重要だと感じられます。

 【用語解説】

AI Act
欧州連合によるAIシステムの包括的な法規制。リスクごとに義務や制限が決まっている。

UCPD(不公正商慣行指令
EU域内で消費者を欺く広告や強引な勧誘など不公正な商習慣を一律で禁止する2005年成立のEU指令。

DSA(デジタルサービス法
SNSやネット通販大手を対象に、違法・有害コンテンツへの対応や透明性などを義務づけるEUの新しいデジタル規制法。

AIコンパニオン
ユーザーと対話しながら擬似的な人間関係を築く人工知能サービス。

高リスク(ハイリスク)区分
AI Act内で健康・安全・基本権に大きく影響する分野で、厳しい規制が課される仕組み。

基本権評価
AI Actにおいて高リスクAIシステムを導入する際、そのシステムがEU市民の基本的権利(人権、プライバシー、差別禁止、表現の自由など)へどのような影響やリスクを及ぼすかを事前に評価・記録し、リスク低減・管理措置を講じる義務。

【参考リンク】

欧州委員会(外部)
欧州連合の行政執行機関。AI Act策定や関連政策の中心的役割を担う。

The EU AI Act Newsletter(外部)
EU AI Actに関する最新ニュースと分析を掲載するSubstack発行の専門メディア。英語での動向把握や情報収集に適している。

【関連記事】

投稿者アバター
りょうとく
趣味でデジタルイラスト、Live2Dモデル、3Dモデル、動画編集などの経験があります。最近は文章生成AIからインスピレーションを得るために毎日のようにネタを投げかけたり、画像生成AIをお絵描きに都合よく利用できないかを模索中。AIがどれだけ人の生活を豊かにするかに期待しながら、その未来のために人が守らなけらばならない法律や倫理、AI時代の創作の在り方に注目しています。

読み込み中…
advertisements
読み込み中…