バーチャルな時空間 ー 物理的制約に縛られない時空間のモデル・技術・アプリケーションについて
Midjourney; Inspiring 2D Illustration, endless potential of virtual time-space and the technology needed to bring it to life --ar 16:9 --v 5
ChatGPTによる要約
>この記事は、バーチャルな時空間の探求とその可能性について考えています。現在、我々はコンピューターを通じて他者と"バーチャル空間"や"バーチャル時間"を共有しています。これはゲームの世界だけでなく、働き方やコミュニケーションの形状を変えています。これらは「メタバース」や「サイバースペース」の形成に寄与しています。
>
> しかし、これまでの私たちの時空間認識は物理的な制約により形成されてきました。この制約から解放されることで、情報世界や人工現実の可能性は無限大に広がります。想像力の限界を超えた空間、例えば四次元空間や非ユークリッド空間、または時間、例えば分岐する時間や伸縮する時間など、私たちが通常認識することのできないバーチャルな時空間を探求することで、新しい体験と発見を引き出すことができるでしょう。
>
> これらの探求を実現するには、まず適切なシステムとインターフェースが必要です。これはバーチャルな時空間を人間が認識し、それを扱うためのものです。4次元のメッシュのデータ形式やそれをレンダリングする仕組み、バーチャルな時間軸上での共同編集を可能にするデータ構造など、これらは新たなバーチャル時空間の創出をサポートします。
>
> そして最後に、それぞれのシーンに適した時空間を選べるようになると、コミュニケーションや活動の質が大幅に向上するでしょう。新たな時空間の探索は、音楽の演奏、ゲームのプレイ、大人数での会議や講義など、我々の生活のあらゆる面で新たな体験を可能にする可能性を秘めています。
概要
1. コンピューターを通じて、他者と「バーチャルな時空間」を共有できる
「時間」の共有：ニコニコ動画の流れるコメント、We were here - 擬似同期的なVR体験、donottouch.orgなどの擬似同期的な体験では、過去/未来の他者と同じ「バーチャルな時間」を共有していると言える
いわゆる「メタバース」「サイバースペース」の話
2: 物理的な時空間の古いあり方に囚われなければ、様々な「バーチャルな時空間」が考えられる
せっかく情報世界/人工的現実は自由なのに、物理的な時空間のあり方に囚われていてはもったいない
物理的 / 西洋的 / 近代的な時空間の概念にとらわれず、情報世界でしか出来ない事を探求したい
空間の例：四次元の空間、非ユークリッド空間、ワームホールのある空間、重力のない空間、重複する空間
時間の例：分岐する時間、伸縮する時間、二次元の時間、万有引力のある時間、振動する時間、フラクタル時間、循環する時間、時計から独立した主観的な時間
「対面」と「オンライン」・「同期」と「非同期」の二元論は、その間にありえる多様な時空間のあり方を見落としている
バーチャルな時空間軸を特徴づけるさまざまな特徴（瞬間性、客観性、因果性、ユークリッド空間であること、直線性、解像度、etc）があって、それらの特徴の結果として「時間らしさ」「空間らしさ」が生まれるという捉え方
3. 適切なシステムとインターフェースが実装できれば、多様な「バーチャルな時空間」を他者と共有できる
例：4次元(x,y,z,t)のメッシュのデータ形式とそれをレンダリングする仕組み（4次元レンダリング）
例：バーチャルな時間軸上の異なる位置で共同編集を可能にするCRDTのようなデータ構造
例：分岐するバーチャルな時間を行き来するためのインターフェース
人間の時空間の認知の仕組みが許す範囲でどこまでの「バーチャルな時空間」を提示できるか気になる
4: 多様な「バーチャルな時空間」を実装できれば、多様な用途/コミュニケーションそれぞれに適した時空間を選べる
例：大人数の講義や会議をするなら「分岐する時間」の方が適しているかもしれない
例：音楽を演奏するなら「円環の時間」の方が適しているかもしれない
例：「二次元の時間」や「相対論的な時間」だからこそ遊べるような新しいゲーム/スポーツがあるかもしれない
従来の物理時間・空間のあり方を単純にコピーするのではなく、物理制約を無視してより多様な時空間のあり方を考えられると、選べる選択肢が増える
そうすることで、より多様なニーズ・目的に沿ったバーチャルな時空間, サイバースペース, メタバース, etcを作れるのでは
本文
1. コンピューターを通じて、他者と「バーチャルな時空間」を共有できる
「バーチャルな空間」の共有：
離れたところにいる人と、「バーチャルな空間」を共有することが出来る
一番わかりやすいのは、VRChatとかClusterとかFortniteとかにおける3D空間の共有
https://gather.town/ とかspatial.chatみたいな、2D空間を共有するサービスもある
ユースケースによっては3Dより使いやすくて良い
集まってボイスチャットで話せたり、一次元のチャット空間で会話できたり
ここの体験には、ある種の「空間らしさ」がある（詳細は後述）
「バーチャルな時間」の共有
過去/未来にいる他人と、「バーチャルな時間」を共有することが出来る
これは空間の共有と比べて注目されてないと思う
一番わかりやすいのは、ニコニコ動画の流れるコメント
過去にコメントした他人と同じ時間を共有しているような気持ちになれる
これを、実際には同期していないけど同期しているような「擬似同期的な体験」と呼べる
他の例として、We were here - 擬似同期的なVR体験が挙げられる
VRで過去のプレイヤーと時間を共有できる体験をMIT Reality Hack 2023で作りました
過去のプレイヤーの軌跡が見える
過去のプレイヤーとコミュニケーションを取り、一緒に立体迷路を解いたり楽器を演奏したり出来る
donottouch.orgというウェブサイトも面白い
同じ動画を見た過去の他人のカーソルの動きが見れる
研究としては、MetaChron, VirtualTimesみたいなものがある
バーチャルな時間と空間を合わせて、バーチャルな時空間と呼びたい
関連
「バーチャル」という言葉を使う意味
Virtualの意味「みかけや形は原物そのものではないが，本質的あるいは効果としては現実であり原物であること」が大事なので
そもそも「空間」とは
人間が持ち合わせている空間の概念がある
持ち合わせている空間概念に基づいてセンスデータを解釈しているから、「空間」を見出せるのだと思っている
であれば、センスデータが人工的なものでもそれに時空間を見出せるだろうと言える
（もっと認知科学のあたりで具体的に説明されていることはあるだろうなと思う）
あるいは、知覚できない部分がどうなっているかを想像する時にも、持ち合わせている空間概念を使っていると思う
そもそも「時間」とは
過去や未来を想像する時に、持ち合わせている「時間」概念を用いて過去や未来の想像を構築するイメージ
「時間」概念の要素
時間の区切り方（1分1秒のSI単位とか、心拍とか、毎日家の前をあの人が通るタイミングとか）
時間の構造（直線的なのか、ループしているのか、etc）
時間の構造を直線的に捉えることもあれば、それ以外の捉え方をすることもある
ヒンディー語では「昨日」と「明日」を区別しない、みたいな話もあったり（しらんけど）
「時間や空間を誰かと共有する」とは（時間共有感）
i.e.「時空間軸上の同じ位置 / 他の位置に他人がいる」という感覚とは
人間は大体同じ時空間のモデルを共有しているので、Aさんが「私はBさんと同じ時空間を認識した」と信じることができれば、AさんはBさんと同じ時空間にいると思える
ただ、「時間や空間を誰かと共有する」という感覚は、一方通行なものであると言える
Aさんが「私はBさんと同じ時空間を共有している」と信じていても、逆はそうとは限らない
詳細：時間共有感
>
CSCW文脈でこういうものが古典的にある
ただ、この図では「バーチャルな時間/空間を共有する状態」と「時間/空間を全く共有しない状態」の区別がなされていない
これはバーチャルな時空間をベースに考えた別の話
「客観世界に代わる「共有世界」のあり方として、Polymorphic Reality 多型的現実 というものが考えられそう」という主張
2: 物理的な時空間の古いあり方に囚われなければ、様々な「バーチャルな時空間」が考えられる
せっかく情報世界は自由なのに、物理的な時空間のあり方に囚われていてはもったいない・つまらない
「Virtualな環境で、現実の体験を再現すること」だけを目指しても仕方がなさそうと常々思っている
例えば「VR/ARスポーツ」を作りたいとして、従来のスポーツ（テニス、サッカー、etc）を再現するよりも、新しいゲームを考えた方がおもろい（例：Hado）
同じように「VR時空間」を作りたいとして、現実の物理時間・空間を再現するよりも新しいあり方を考えた方がおもろい
物理的 / 西洋的 / 近代的な時空間の概念にとらわれず、情報世界でしか出来ない事を探求したい
最近まで無自覚だったけど、自分の興味関心のベースとしてこれがあるな〜と他人と話して思った
どんな「バーチャルな時空間」が考えられる？
空間の例：四次元の空間、非ユークリッド空間、ワームホールのある空間、重力のない空間、重複する空間
時間の例：分岐する時間、伸縮する時間、二次元の時間、万有引力のある時間、振動する時間、フラクタル時間、循環する時間、時計から独立した主観的な時間
これは想像力次第でもっと色々なアイデアが浮かびそう
色々な人と話して探っていきたい
突き詰めればバーチャルな時間と空間の違いは曖昧で、時間と空間にはっきりした境界は無い
時間らしさとは？
例：瞬間性
時間：特定の瞬間（例えばt=1）の世界しか一度に観測できない
空間：複数の地点（例えばx=0からx=100まで）の情報を一度に観測できる
（ここでいう「一度」は物理時間のある一点なので、トートロジーではある）
例：因果性
時間は、t1 < t2の時、t=t1の出来事がt=t2の出来事に影響を与えるけど、逆はない
空間は、x=1の出来事がx=2の出来事に影響を与えることも、その逆もある
（相対論的なことを言えばもう少し複雑だけど、人間が感じることではない）
例：時間と空間が融合したような「バーチャルな時空間」を考えられる
例：瞬間性のない、複数の瞬間を同時に観測できる「バーチャルな時間」を考えられる
これは、「時間らしさ」が少し弱い「バーチャルな時間」であると言える
時空間軸を特徴づけるさまざまな特徴（瞬間性、客観性、因果性、ユークリッド空間であること、直線性、解像度、etc）があって、それらの特徴の結果として「時間らしさ」「空間らしさ」が生まれるという捉え方
関連
3. 適切なシステムとインターフェースが実装できれば、多様な「バーチャルな時空間」を他者と共有できる
どんな技術があれば、どんな新しい「バーチャルな時空間」を実装できるのか
VRシステムの図のモデルを元に考える
必要なもの：
コンピューターの世界でバーチャルな時空間を実現するシステム
それを人間が時空間として認識してインタラクトできるようなインターフェース
システム：
例：バーチャルな時間軸上の異なる位置で共同編集を可能にするCRDTのようなデータ構造
例えばバーチャルな時間軸上の過去で誰かが世界を編集したとして、それは時間軸上の未来に影響を与える
そうなった時に、conflictを起こさずにデータを扱えるような仕組みが必要
commutativeなデータ型は、conflictを避けつつvirtualな時間を超えたcollaborationをするのに必要な気がしている
>空間ではなく時間方向の「万有引力」といえそう
空間を拡張したバーチャル世界における物理
インターフェース：
従来の3Dレンダリングシステムは、当然3Dモデルを受け取って2Dに変換する仕組み
これではVR相対性理論シミュレーター（Lorentz - Special Relativity in VR）がとても作りづらくて困った
ので、4次元レンダリングの仕組みを作れないか今試している
例：分岐するバーチャルな時間を行き来するためのインターフェース
例：時間と空間が融合したような時空間を扱うインターフェース
人間の時空間の認知の仕組みが許す範囲でどこまでの「バーチャルな時空間」を提示できるか気になる
多分100次元の時空間を提示しようとしても無理だけど、4次元とか分岐する時間くらいなら頑張ればいけそう
2次元ディスプレイで3次元の世界を提示できているんだから、3次元ディスプレイで4次元の世界を提示できるだろ（これは詭弁）
例えばリアルタイムとスローモーションを共存させるインタフェースはとてもおもろい、好き
4: 多様な「バーチャルな時空間」を実装できれば、多様な用途/コミュニケーションそれぞれに適した時空間を選べる
例：大きなイベントをするなら「ワープできる空間」の方が適しているかもしれない
これは既に実装されていて、VRにおけるワープポータルとかUIはよくある
(source)例：大人数の講義や会議をするなら「分岐する時間」の方が適しているかもしれない
例えば、議論をする時に以下のような困りごとはよくあると思う
「補足したい軽い情報があるけど、議論の場を占有するほど重要では無いから黙っておく」
「タイミングを逃したから空気を読んでアイデアを引っ込める」
「ちょっと前の話題に対する質問や意見が思いついたけど、蒸し返すのも悪いから黙っておく」
「聞かれたことに対してすぐ答えないといけないので、瞬発力や頭の回転が求められて大変」
そんな課題のある、一次元的・完全同期的なターン制コミュニケーションの環境が最適解だとは思えない
なので、ターン制議論を滅ぼしたい & 分岐可能なより
（今作ろうとしているもの）
(イメージ)例：生徒同士がコミュニケーションを取る授業は、「前後に行き来できる時間」の方が適しているかもしれない
話を聞き逃したりした時にちょっと戻ったりできた方が授業は受けやすい
時間の前後の行き来と同期的コミュニケーションの両立を目指したものがあると、リアルタイム授業とオンデマンド授業の良いとこどりができて嬉しい
>弾性同期：非同期的に視聴しているユーザー同士を、再生速度の自動変化によって同期させるシステム
例：自分の進捗を管理する時、機械的・西洋近代的な時計の時間より「主観的な刻み方の時間」の方が適しているかもしれない
行動が時間に縛られる窮屈さから解放されつつ、他者との同期を取れるような仕組みがあると嬉しい
あるいは時計の窮屈さを逆手にとって時計の表示時間速度制御による単純作業の処理速度向上手法とか
例：音楽を演奏するなら「円環の時空間」の方が適しているかもしれない
ループステーションの概念を空間・時間として拡張したようなもの
例：「二次元の時間」だからこそ生み出せる小説や音楽があるかもしれない
例：「相対論的な時間」や「高次元空間」だからこそ遊べるような新しいゲーム/スポーツがあるかもしれない
超人スポーツのような概念
例えば、最近Lorentz - Special Relativity in VRというVR相対性理論体験を作った
世界が伸縮したり時間が遅くなったりする
このような相対論の影響があるバーチャルな時空間で遊べるマルチプレイスポーツがありそう
5D Chessとかも面白い
「奇妙な時空間を作ること」自体は目的ではない
例えば100次元の時間の体験が作れたとして、（それはめちゃくちゃおもろいが）それ自体が嬉しい訳ではない
なんなら複雑になってよく分からんくなる事の方が多い気がする
目的は、状況や好みにあった最適な時空間の枠組みで情報を提示できること
「学校の講義に最適な時空間モデル」「音楽に最適な時空間モデル」など、制約に縛られずに考えればニーズ次第で色々なモデルが役に立つと思っている
まとめ
従来の物理時間・空間のあり方を単純にコピーするのではなく、物理制約を無視してより多様な時空間のあり方を考えられると、選べる選択肢が増える
そうすることで、より多様なニーズ・目的に沿ったバーチャルな時空間 = サイバースペース = メタバースを作れるのでは
見落としていそうなことリスト
時間のフレームレート / 空間の解像度