部分的に「ずれ」のあるVR
最近考えている研究テーマの進め方がわからず行き詰まっているので、ここに書いてみる
適当な感想や思いつきなど、なんでもいいので何かしら反応が書き込まれると喜びます
一般的な現実やVRでは、同じ空間にいる複数人は同じ世界を見るのが普通
ただ、同じVR空間にいる複数人が、それぞれ少し異なる現実を体験するようなケースも考えられる
例：VR空間にて複数人が共同作業する状況を考える。
部屋には積み木とかモニターとかがある
一番上に描かれているのが、オリジナルの現実。
ただ、赤/青/緑の人はそれぞれオリジナルとは少し違う、個別にカスタマイズされた現実を見ている
自分以外の人のアバターとモニターがオリジナルとは異なる位置に置かれている
カスタマイズの意図：自分がモニターを見やすいように配置を変えたかった
机の上にあるオブジェクトがオリジナルよりも大きくなっている
カスタマイズの意図：オブジェクトの細部を見たかった
自分以外の人のアバターとモニターが透明になっている
カスタマイズの意図：机の上のオブジェクトに集中したかった
このように、共同作業をしている空間でも、VRなら個別にカスタマイズして異なる現実を体験することができる
Minecraftのリソースパックも物理的現象は同じだけど、世界の見え方がそれぞれのリソースパックで変わる
このたとえわかりやすかった
ただ、このような現実の個別カスタマイズをすると、現実の「ずれ」によってコミュニケーションに齟齬が生じ始める
「自分が見えているオブジェクトが相手には見えていない」とか「指差しているオブジェクトが相手には違う位置に見えている」とかの問題が起こりうる
それを解決するために、以下の二つの手段が取れる
1. 現実の他の部分を調整して、うまく「ずれ」を吸収する
たとえば指差しているオブジェクトが相手には違う位置に見えているなら、差している指の位置も相手には違う位置に表示すればいい
2. どうしても必要なら、必要な範囲で「ずれ」を取り除く
誰かが特定のオブジェクトについて話している時は、そのオブジェクトが必ず全員に同じ位置に表示される、とか
こっちのほうが、齟齬が少なくなりそう
1番の路線のほうが奇妙で面白い気がするけど複雑な問題が出てきそうな予感がする
🟢だけオブジェクトを重ねるような配置をしていた時に、🟢には何かが重なっているようにみえるけど他の人は言葉だけで判別できることがおきて、🟢「重なってるからわからない」🟥🟦「？」
1と2は本質的には同じでは
指とオブジェクトの相対的な位置関係だけを見るならそうです
背景と指、背景とオブジェクトの相対的な位置関係は k=0, k=0.5, k=1それぞれで異なる
背景とは、指とオブジェクト以外の全てのもの。部屋の壁や机や他のアバターなど
以上のような、①主観的な現実の個別最適化 と ②個別最適化による「ずれ」の吸収 をうまく実装したい
これができれば、従来の「全員が全く同じ現実を体験するような客観的現実のパラダイム」とは異なる形のVR空間を作れる
↑では、オブジェクトやアバターのサイズ・位置・可視性などの「ずれ」について話した
ただ、それ以外にもさまざまな変数の個別最適化とずれの吸収が考えられる
たとえば
「時間」の個別最適化
リアル版オブジェクトに関連する過去をホログラムなどで再生するやつだ
部屋の明るさの個別最適化
空間の座標系の個別最適化
色味の個別最適化
人の個別最適化
嫌いなやつは視界から消すとか(?)
いろんなプラットフォームで実装されてそう
VRChatであるらしい
Diminished Reality
ただ、こういう仕組みの有用/分かりやすい/面白い具体的なユースケースが思いつかなくて困っている
時間のズレは練習に向いていそう
レジのオペレーション体験（もうセルフレジのある世の中だが‥）
セルフレジの故障修理とか、ロール紙入れ替えとか
レースゲームのゴースト
格闘技、技の仕掛け〜投げまでのトレース
自分の足運びとか相手の位置の見え方など
ずれを吸収する必要性が提示できないのが問題？
部分的に「ずれ」のあるVR#657166ba79e113000019d7e2の齟齬を何にしようか悩んでいる？
どちらかというとそもそも「ずれ」を作り出す必要性が提示できないのが問題です
研究として面白い問題を解きたいので、できる限り大きな「ずれ」の吸収方法を考えたい
ただ、有用かつ面白いな大きなずれ/個別最適化が思いついていない
なるほど。部分的に「ずれ」のあるVR#6571667b79e113000019d7dfの例で必要性は十分に感じました
有用そうなずれを考えてみる
ライブで前の人邪魔だから消したい
TVのチャンネルを別のものに切り替えたい
それぞれ目の前のモニターがあって音が聞こえていればいいか
街の広告で見える人によって異なるパーソナライズした広告を出したい
ある人は見たくないが、自分はみたいものを出したい
見ている文字が母国語になる
多分一番便利
マジックミラー的な？（ちょっと違いそう）
ご先祖様（幽霊）とか？
結構長くなってしまった
現実の定義がわかんにゃい
「VR」と読みかえてもらって大丈夫です！
関係があるかわからんけど運転してて助手席の人に「こっちの車線を行くです」と指さされてもこっちから見たらどの車線を指しているのか角度的にわからんということがよくある
確かに、現実世界でも視点の違いのずれはコミュニケーションを難しくしているのか
遠くの景色の特定のオブジェクトについて娘に話す時、写真を撮って、その写真を指差すことがある
ScrapboxにおけるsettingsとUserCSSの関係を思い起こした
友人のプロジェクトで互いに異なるUserCSSを入れているものがあり、おそらく違う見え方で見ているんだろうなーと思ってやりとりしている
そもそも、世界の見え方は人それぞれ（見え方、感じ方はそれぞれ）で、それをすり合わせながら社会ができている感じがある
あれは赤いよね、うんうん赤い
赤いと情熱的に感じるよね、うんうんそんな気がする
みたいな
+1
このへんくすみさんと話したときの言葉の意味の示し合わせ話が重なる
>こういう仕組みの有用/分かりやすい/面白い具体的なユースケース
色やぼかし具合も含めていいなら、色盲や視力悪い人の見ている世界を体験する的な障害体験シミュレータ
トポロジーという言葉を連想した
他人の（カスタマイズされた）視界を一時的にプレビューする
Aさん視点で行くと、一時的にBさんやCさんの（設定を適用した）視界に切り替えることができる
A「ちょっと待って、Bさんが言ってるの、俺には映ってない」 → Bさんの視点をプレビュー → A「なるほど、そういうこと」
SIRENの視界ジャックってこれかも？
ホラーゲームにつき未プレイ
視界の画面共有、面白い
VRの話をすっ飛ばすと、Scrapboxの箇条書き議論が人によって違う見え方だと面白いな(適当)
非対称性のある文字コミュニケーション環境、おもしろそう&実装が比較的容易そう
具体的にどんなことがイメージできる？
悪口がフィルターされる・変換される
前提知識やコンテクストを無視して書いても、他の人に読まれる際には必要に応じてコンテクストが補完される
同じ構造の別の対象について話している時に、それを意識させずにアンジャッシュ状態を成り立たせる
例：自分は月と地球の公転の話をしていて、相手は太陽と木星の公転の話をしているけど、名詞を単に置き換えるだけでコミュニケーションは成り立つ
いつ役に立つんだ
例え話で何かを理解したい/させたい時?
異なる思考のやりかたを持つ人同士を橋渡し
抽象的な議論をできる人と抽象的な話を理解できない人が議論する時に橋渡し
すごい雑な例だと、「AとBは対立関係だよね」が「AとBは、(既知の対立関係である)CとDの関係に似ているよね」に変換されるみたいな
ビジュアルで考える人と言語で考える人の橋渡し
こういうユースケースある気がするな
作った -> 2024/02/05
（場外）そもそも自分が見えている世界と他人が見えている世界がどこまで同じなのかという興味はある
光の感じ方も、黒目、青目でも違いそう
わかる
これめっちゃ良い
見えている世界が全く違うことだってあるのではなかろうか
よくみたら手段じゃなくてユースケースで悩んでた
個人間で見ている世界に (互いにコミュニケーションに齟齬が出るほどの)「ズレ」がある VR を作りたいが、コミュニケーションの齟齬を出さないように「ズレ」を吸収する方法を模索していると読んだ
既存のゲームや現実は「ずれ」ていないと考えているのか、とかも考えておいたほうがよさそう
一般的な現実やVRでは、同じ空間にいる複数人は同じ世界を見るのが普通ではあるんだけど、
VR なら各個人の設定によってちょっとずつ違うものが表示されている
現実も各個人の特性によってちょっとずつ違うものを見ている
これを「ずれ」の範囲に入れるのか、入れないのか
ずれの中でも、何かしらの個別最適化を行った結果としての「ずれ」について上では考えていたと思う
ずれがないよりあった方が個別最適で嬉しいことがある、という状況
何かしらの個別最適化を行った結果としての「ずれ」の中に各個人の設定によってちょっとずつ違うものが表示が含まれていそう
コミュニケーションを取りたいだけなら画面共有すればいいんではと思ったりした
VR なことを活かして指差しジェスチャで部分スクショを撮って送れたら「これ」等の指示語に対応するものを実際の画像で示せそう
画面の切り取りたい部分をクルッと囲むとその部分のスクショを得られるみたいな
VR だと文字通り相手の視点に立てるんだなぁと思うなどした
全部画面を共有すればの話だけど
理想的には他人の人生を追体験できる
---
諸事情で、この話を丁寧な文章にまとめたい
以下の文章で何言ってるか分からない点とか説明不足な点があれば知りたいです
（想定読者：前提知識は特に持たない研究者）
>複数人がコンピューターを介して現実を共有し、コミュニケーション・共同作業をする環境に関心があります。（Compuer-mediated Reality, CMC, CSCWなど）
>
> 特に、「全員が全く同じものを見る」という客観性の制約を取払った、部分的な「ずれ」がある現実の共有に関心があります。（非対称的な現実）
>
> —
>
> ずれ = 非対称性は、空間、時間、言語など様々なドメインについて考えられます。
>
> 具体的には、以下のような環境が考えられます。
> ・内装や料理が各ユーザーの好きなものに個別最適化されるが、他人と一緒に食事をする体験は共有できるVRレストラン
> ・他人の発言が自分の母語に翻訳されるオンライン会議環境
> ・それぞれの生徒に合わせて講義映像の速度を最適化しつつ、それによって生じる時間のずれを超えて生徒同士がコミュニケーションを取れるオンライン講義環境（2020年度未踏にて応募者が開発1）
>
> また、実際に体験していただける簡単な「非対称的な現実」のデモとして以下の二つを作りました。
> ① 空間の非対称性：https://asym2d.vercel.app/
> ・試し方：二人のユーザーの体験を再現するために、二つのウィンドウでページを開いてください。黒い点が各ユーザーのアバターを表しており、数字が書かれた四角形がチェックポイントを表しています。
> 各ユーザーの画面で「チェックポイントの配置」は異なりますが、「ユーザーとチェックポイントの相対距離」は共有されています。たとえば、ユーザーAが自身の画面でチェックポイント1に近づくと、ユーザーBの画面でもチェックポイント1に近づきます。
>
> ② 言語の非対称性：https://asym-chat.vercel.app/
> ・試し方：二人のユーザーから見たチャット画面が一つのウィンドウに表示されています。一方のチャット画面に何かを送信すると、その話題がGPT-4によって翻訳されてもう一方のチャットに表示されます。
>
>
> これらのアプローチに共通する構造として、「本質的に共有したいこと」を共有しつつ、「共有する必要がないもの」の非対称性を許容し個別最適化するアプローチが取られています。例えば、VRレストランの例では「他人と食事をするという体験」を共有しつつ、「内装や料理」を個別最適化しています。
> 以上のような非対称性のある環境について研究しつつアプリケーションを探ることで、現実の非対称性についての一般的な設計論を見出したいと考えています。
> a Placement Retargeting of Virtual Avatars to Dissimilar Indoor Environments https://ieeexplore.ieee.org/document/9173828
> b Partially Blended Realities: Aligning Dissimilar Spaces for Distributed Mixed Reality Meetings https://dl.acm.org/doi/10.1145/3544548.3581515
すでに実例がある
なぜかわからないが万華鏡を連想した
「パラメータを変えると一つのものをさまざまな見方で見れる」という構造が同じだと思いました