チェリーピッキング
>チェリー・ピッキング（英語: cherry picking）とは、数多くの事例の中から自らの論証に有利な証拠のみを選び、それと矛盾する証拠を隠したり無視する行為のことである。
AIモデルの評価でXYプロットや、数枚の生成画像などが使われているが、チェリーピッキングが容易すぎてなんの根拠にもならないという主張
>現在のアニメ画像生成界隈において手法やモデルの評価は主観ベースで行われており、クソです。
論文でも普通に使われてしまっているような…？
そらそうでしょ、適切なプロンプトの長さ、言葉選びはそのモデルによって変化するんだから定量的な評価は無理
同じプロンプト同じシードでもそのモデルが目指すところによって大きくクオリティが変わる
モデルの評価軸
絵柄
生成した枚数に対しての使える(絵の枚数
同じような絵を大量に描けるか？
プロンプトへの忠実度(コントロールしやすさ)
他モデルとの近さ
これ以外全部主観でしか評価できない？