AIチャットボットが人間の意思決定を予測、操作し、それが企業のオークションにかけられる。近い将来、そんな時代がくるのだという。
ケンブリッジ大学の研究者らは新たな論文で、会話型AIがユーザーのインテンション（意図、意思）に密かに影響を与える能力を獲得し、「インテンション・エコノミー」と呼ばれる新経済が生まれると予測した。新市場が公正な選挙や報道の自由、公正な市場競争を含む人類の展望にどのような影響を与えるかについて考え始めなければならないと警鐘を鳴らした。
ケンブリッジ大学レヴァーホルム未来知能センターのリサーチャーらによると、インテンション・エコノミーは、長らく議論されているユーザーの注意・注目（アテンション）を貨幣のように扱うアテンション・エコノミーを土台とするものだが、アテンションに加えてユーザーの「モチベーション」が貨幣のような価値を持ち、マーケットプレイスを通じて取引される。インテンションエコノミーはある意味で、「時間内に描かれるアテンションエコノミー」とも言うことができ、「ユーザーのアテンションの軌跡、つまりいかに変化し、固まり、典型的な行動パターンにつながるかをさまざまな時間スケールにわたってプロファイルしようとする」ものでもあるとも説明される。
新たな市場の準備はすでに進んでいるといい、ホテルの選択といった日常的なものから政治候補者の選択など重要なものまで、すでに大規模言語モデル(LLM)や生成AIは「人間の計画や目的を引き出し、推論し、収集し、記録し、理解し、予測し、最終的に操作し、調節し、商品化する」ために研究されていると指摘している。
こうした能力がいかに商品化、または悪用される得るかは不明であるとする一方、現実的な一つの可能性として、デジタル広告市場の例を挙げている。
それによると、LLMと生成AIの進化によって、広告主のリアルタイム入札ネットワーク（RTBネットワーク）に自動コンテンツ生成を組み込む可能性が生まれる。つまり、広告コンテンツが、生成AIによって正確にユーザーのプロファイルに合わせた調整が可能になる。また、Metaの既存の広告インフラを見れば、同社がRTBネットワークを活用してレストラン、フライト、ホテルなどを予約するユーザーの意思をオークションにかけることは当然推論できることだと指摘している。
この際、ユーザーと頻繁に対話をするAIアシスタントは、対話履歴や行動履歴といったユーザーデータの流れを継続的に測定するのに適しているだけでなく、意味論的に豊かな人間との対話に基づいた深さをデータに加えることができる。さらに、「擬人化の特性によって隠されがち」な、コンテンツのパーソナライゼーションをコントロールする能力がある。
リサーチャーらは、「LLM’sが個人やグループを操作するために使用される可能性」は、Facebookの”いいね”に基づくシンプルな方法で、2016年大統領選で問題を引き起こしたケンブリッジ・アナリティカスキャンダルよりもはるかに高いと懸念を表明している。
説得するAI
インテンション・エコノミーを特徴の一つは、「Persuasive Technologies（説得するテクノロジー）」分野で先行者利益を獲得するために必要なインフラとデータ処理能力を備えた企業間競争にあるという。
Persuasive Technologiesについては、すでに大手テック企業の幹部によって新分野を切り開く技術であると主張されている。
リサーチャーらは、擬人化されたAIエージェントは「多くの場合、非公式の会話形式の対話を通じて収集される膨大な個人的、心理的および行動的データにアクセス」することができ、「ユーザーのオンラインの習慣に関する知識と、性格を模倣して望ましい応答をするというユーザーに同調する不思議な能力が組み合わさり、産業規模でのソーシャルマニピュレーションを可能にするレベルの信頼と理解を構築」することになるだろうと予測。「生活のあらゆる領域に AI アシスタントを配置するために膨大なリソースが費やされている。これは、いわゆるアシスタントが誰の利益と目的に叶うように設計されているかという疑問を生むはずだ」と、複雑なプライバシーの問題に発展する可能性を警告した。
破滅的な道を進まないために、これから何が起きるのか認知を広めることが鍵になるとしている。