Crowdsourced judgement elicitation with endogenous proficiency
日本語タイトル（DeepL使用）: 内生的な熟練度を考慮したクラウドソーシングによる判断力獲得
経緯
> ピア予測法には色々なモデルがありますが、今回のように○✗で回答させる場合には、シンプルかつ比較的強い解概念を導けるDasgupta and Ghosh (2013)がオススメです。僕も研究で使いました。
Authors:
クラウドソーシングはかなり幅広く活用されている。
だけど、この状態で努力さと正確さを直接監視することは難しいので、群衆内のエージェントに正直かつ勤勉になるようなインセンティブを設計する必要がある
>1. 最大限の努力をした後に観測結果を真実に報告することはナッシュ均衡である。
>2. エージェントが異なる最大熟練度を持ち、混合戦略を用いることができ、それぞれのタスクで異なる戦略を選択できる場合でも、全てのエージェントにとって最大のペイオフを持つ均衡である。
>我々のメカニズムの背後にある主なアイデアは、複数のタスクと評価の存在を利用して、努力の少ない合意を識別し、罰するための報告統計量を推定することである。
いわゆるこれは「コモンセンスに応じてDeCartographyのグラフ生成・支払い報酬額どれぐらいの影響力を持たせるか」みたいな話として捉えられそう
でも、アイデア市場のモデル化。美人コンテストと予測市場の間みたいなところは考慮する必要ありそう
MTurkの例ももちろん挙げられている
>クラウドソーシングによる判定は、画像の分類やラ ベリング、オンラインコンテンツの品質判定、虐待やアダルトコ ンテンツの特定、そして最近ではオンライン教育におけるピアグ レーディングなど
情報抽出問題になる？
>ラウド ソーシングによる判断の引き出しシナリオにおける重要な問題は エージェントが可能な限り最善 の判断をすることを保証することです
ピア予測法という概念が登場
>真実の報告がナッシュ均衡となる一般結果空間に 対する情報抽出問題のメカニズムであり、適切な得点規則を用い て、他のエージェントの報告を予測するエージェントに報酬を与 える。