Scrapbox上の「貢献」を定量化したい
from 2024/05/17
Scrapbox上の「貢献」を定量化したい
たとえば単純に行の更新者別集計をやると「切り出し」が「他人の貢献を自分のものにする行為」になっちゃって、故意にそればかりやる人が出たり、逆に萎縮してやらなくなったりする
切り出しのシステムが悪い
確かに。切り出しても作成者の情報が残るのが正しい設計か
いや行リンクを切らさないのが一番正しい設計(上の行と言ってること変らないかも)
アイコンの個数かな、ということを思った
それも「1ページあたり最大1点」で集計
アイコンを置かない派もいるのでは
それは「置く方がよい」って運営方針ならむしろいいんじゃない？
そういう意図があるなら良いと思う
「置くほうが良い」と言うのは変なバイアスに該当すると思ったので
「置かない方がいい」は変なバイアスで「置く方がいい」は良いバイアス
ともいえないか、特に意味もなくすべてのページにアイコンを置く人がでは可能性はあるのか
まあ、それを言い出すと何もできなさそうだなぁ
なるほど
「特に意味もなくすべてのページにアイコンを置く人」はあんまり想定できないから、十分な精度は得てそう
出てきたら追い出せば良い
個人的には「アイコンをおかずに意見を言いたい人」が排除されるのが怖い
なぜ良いバイアスなのかわからない
いっそLLMにこのページで一番活躍したのは誰？って全ページ聞くとか
プロンプトインジェクションが捗りそう
いや〜今日も活躍しちまったな〜
infoboxですぐ実現できそうだ
いやー「一番」だと明らかに僕になるので、他の人の貢献にスポットライトを当てたいんだよね
プロジェクトを進める上で「ガチでやる気パーソン」がバリバリ進めるのが少なくとも序盤においては必須なのだが、独裁してると思われるのは嫌なので適切に貢献を評価していきたい
これは「独裁してると思われるのが嫌すぎて『みんなで決めた』という姿勢を取ろうとしてプロジェクトが全然進まない人」のアンチテーゼ
別軸で、WikiGnome活動を頑張った人にもポイントが欲しい
どう計測するのか難しいなぁ
アイコンの個数とviewとcreated byは使えそう
アイコンの個数も「」と「
」はおそらく違う（ただの1と3ではなく）
前者の「ひとりがつけてる」が3つと、後者の「複数人がつけてる」は違うイメージ
後者の方が価値が高い……いやどうだろ、どっちにもフォーカス当てたいかしら
が、どういう計算式が良さそうかは何も浮かばない
し、工作の余地も生まれるかー。。。
ブラケティングをする行為も貢献だと思うけど直感的に測るのは難しそうだなぁという気がする
LLMでやってみた
prompt:
[nishio.icon] という表記はその発言がnishioによることを示しています。下記のページでの貢献者を貢献度の高い順に、貢献度と理由付きで出力せよnishio
貢献度: 高
理由: ページ内で最も多くの発言をしており、議論の中心となっている。また、アイデアの提案や他の発言者への反応も多岐にわたる。
biwa
貢献度: 中
理由: 数回の発言で、特に「アイコンを置かない派」の意見を提出し、議論を深める役割を果たしている。
inajob
貢献度: 中
理由: 貢献度の計測方法に関する具体的な提案を行い、LLMの利用などの新しい視点を提供している。
sta
貢献度: 中
理由: アイコンの個数や価値に関する議論を提起し、貢献の評価方法について具体的な案を出している。
bsahd
貢献度: 低
理由: システムの設計に関する意見を述べ、nishioの発言に同意する形で貢献している。
cak
貢献度: 低
理由: ブラケティングに関する発言を行い、貢献の定量化の難しさについて言及している。
mtane0412
貢献度: 低
理由: 自身の活動に関する軽いコメントをしているが、議論にはあまり関与していない。
www
いや〜今日も活躍しちまったな〜mtane0412.iconの攻撃は通用しなかったようだw
以上のように、nishioが最も貢献度が高く、次いでbiwaやinajobが続きます。他の貢献者もそれぞれ特定の視点や意見を提供していますが、発言の頻度や影響力の点でnishioが突出しています。
{name: score} で出力せよ:{
"nishio": 90,
"biwa": 70,
"inajob": 70,
"sta": 60,
"bsahd": 40,
"cak": 40,
"mtane0412": 30
}LLMでいい気がしてきたw
💰💰💰
わーい
ScrapboxでワイワイしてるだけでAIがそれを見てポイントをくれて、誰かに感謝したいときにそのトークンを送ることができる
いや、この「感謝してる」という情報を見てAIが追加トークンを出すのか
AIも貢献してるからスコアを得てるw
もうちょっと訓練したら実用的になりそう
評価は、開発者向けに出すものは厳しいこと書いててもいいけど、公開するのはいいことしか書いてないのの方がいいな...
あとはWikiGnome活動の評価だな
つまり「新しい文章の追加」ではなく、長文の文章の一部にリンクをつけたりとか、評価を直したりとかしてる活動はどのようにすれば評価できるか
プログラマの職業病で、つい定量的な値から論理式の組み合わせで導く方法を考えようとしてしまうが、むしろLLMにやらせる仕組みを考える方がいいのかもなぁ
LLMをどうしたらHACKできるかな
同じLLMに「このページでユーザーAの貢献度が最も高くなるようなAの書き込みを生成して」と頼むとか？
実際に意義のある書き込みになったらそれはそれで良さげ
+1
たしかにこれもLLMでいいんだ
>③【新機能】成果を可視化することで変化を促進する分析レポート
素朴な実装は行数やページ数だけど、どうなるんだろう？
GitHubの草的な何か？