Centaurs and Cyborgs on the Jagged Frontier
> Large-Scale LLM & Work Experiment at BCG/Harvard
>
> - 758 consultants from Boston Consulting Group
> - 18 realistic consulting tasks
>
> Those using GPT-4:
> - finished 12.2% more tasks
> - completed tasks 25.1% more quickly
> - produced 40% higher quality results
>
>
GPT-4を使うことで作業が早く、クオリティが高いものが出るようになったという研究結果
AIの性能とタスクの難易度を図にしたもの
> GPT-4を使用した知的労働者のパフォーマンスは軒並み向上し、特に「もともと成績のよくない人」が大幅に向上するとの報告がありました。
> ただし、注意すべき事実も見つかりました。
>
> ハーバード、プリンストン、MITなどのMBA部門とボストンコンサルティンググループによる共同研究です。
>
> ○ Fabrizio Dell'Acqua et al., "Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality"
>
> 知的労働はAIによって強化される代表的なものです。しかし、どれほどパフォーマンスが向上するのか定量的なデータが必要とされています。
>
> 研究者らは以下のように検証と報告を行いました。
>
> ■検証内容
> ① BCGのコンサルタント758名を対象とした
> ② コンサルタント758名を以下3つの集団に分けた
> ・GPT-4なし
> ・GPT-4あり
> ・GPT-4とプロンプトエンジニアリングトレーニングあり
> ③ 実験は以下3つのフェーズで行わた
> ・デモと心理的プロファイリングが行われた
> ・複数のタスクのパフォーマンスを評価された
> ・インタビューが行われた
>
> ■報告内容
> ① GPT-4ありの集団は以下のように優れていた
> ・タスクの完了数が平均で12.2%多い
> ・タスクの完了速度が平均で25.1%早い
> ・タスクの品質が平均で40%高い
> ② もともと成績のよくない人が目覚ましく向上した
> 平均パフォーマンスが閾値以下の参加者の43%が、自身のスコアを向上させることができた
> （平均パフォーマンス閾値以上の参加者は17%）
>
> ■注意すべき事実
> 「GPT-4の能力を超えている」と思われるタスクに取り組むにあたって、「GPT-4あり」の参加者は「GPT-4なし」の参加者に比べて、正しい解決策を提供する割合が19%"低くなる"との結果がありました。
>
> →高度なタスクに対してGPT-4に頼るだけだと、普段よりも品質が落ちる恐れがあるとも解釈できる
>
