米国の大学教授が、話題のテキスト生成AI「ChatGPT」に経済学の試験を受けさせたところ、3ヶ月足らずで落第点からクラスでトップクラスの点数を獲得するまでになったという。
ジョージ・メイソン大学で経済学を教えるブライアン・カプラン教授は、1月にブログに投稿した記事で、中間試験の労働経済学のテストを受けさせたところ、スコアはDランクに相当する31/100だったと明かし、中央値は51で、予想以上に悪かったとした。「AIはまだ、学生の大半よりも、経済学に長けていないことを示している」と指摘したほか、「ジョージ・メイソン大の成績の悪い学生の真似をすることが上手だ」と皮肉った。
教授がインサイダーに話したところによると、テストは、記憶ではなく、経済学に対する理解を試す内容だった。ChatGPTは絶対優位と比較優位といった基本的概念を理解しておらず、さらに経済的というよりも政治的な視点から返した解答もあったという。
ところが、3月14日にリリースされた有料会員向けのGPT-4（前回はGPT3.5がベース）に再び同じ試験を受けさせたところ、驚くべき進化を発揮。スコアはAランクに相当する73で、クラスでもトップクラスの成績を収めたという。
なお開発元のOpenAIは、リリースに際して、「現実世界のシナリオでは人間よりも劣る」とする一方で、「様々な専門的・学術的基準では、人間レベルのパフォーマンスを発揮する」と説明。司法試験の模擬試験を受けさせたところ、スコアは、GPT-3.5で受験者の下位10％程度だったものが、上位10％程度に入り合格したと発表した。
カプラン教授によると、GPT-4は、前回は苦戦していた原理を理解し、明確な解答を出すことに成功した。ポール・クルーグマンのような経済学者が提唱する概念を、完璧に説明、評価し、満点を獲得したという。
答えを解説したブログの投稿をChatGPTのトレーニングデータが拾ったのではないかとも疑ったが、その後、今までにない試験を受けさせてみると、73%をさらに上回る結果を示したという。
これほど優秀になると、喜んでいるのは学生たちかもしれない。カプラン教授は、成績にカウントされるホームワークを出すのを止めようかと考えているという。
