3次元を聴く

現実空間に現れるAR(拡張現実)な存在のロボを捕まえるゲームをプレイします。普通のスマホARではカメラで映した画像の上にCGを重ねて画面越しにARのロボを見ますが、本作品では画面を見ずにロボの浮遊音を頼りに探して捕まえます。

イヤホン推奨です。

このゲームをプレイするにはコツがあります。人間は耳たぶ(耳介)が有るおかげで音が前後左右のどちらから来るかが解ります。特に右後ろ、左後ろからの音に敏感です。髪の毛を切るハサミの音にゾクッとしますよね。 なので、音を背中に感じながら下がって左右に移動して音を挟み込めた!って思ったらキャッチするのがコツです。(私の場合) 
目で探す時とは全く別の体の使い方になるのが面白いですね。

ARに使うCGの例

本ゲームはスマホのARCore(AR機能)を使ってスマホの物理的な位置を検出して、スマホ搭載の3D音源機能を使って位置に応じた音を出しています。
スマホのAR機能は現実の座標と対応した位置に上の図のようにVRカメラとCGおいて、現実のカメラ画像にCGを重ね合わせる機能です。正しい位置にCGを重ねるためには、現実のスマホ(カメラ)に対して、VRカメラが全く同じ位置に追従する必要があります。本作品は、そのカメラ位置(=スマホの位置)ゲームに使ったものです。

音のみを使う作品の歴史は古くIVRCではShadow Slash(1997)があり、近年でもSound Forest(2010)等もあります。
また市販ゲームでもラジオドラマの流れを酌むゲーム「リアルサンド」や、市販はされていませんが「AUDIO GAME CENTER(TGS 2019)」等さまざまな試みされています。

アプリ/ソースコード:
本作品はUnityで作られています。
参考用のアプリ/ソースコードは以下にあります。3D音響を適切に聴くにはイヤホンが必要です(スピーカー不可)。
Androidで実行した場合に、JoyConのRボタンもしくは画面タップに反応するように設定されています。ロボの中心から半径50cm以下の場所に入ってからキャッチしてみてください。(PCでのデバグ中はスペースキーで反応します)
スマホ装着のために、100鈞のスマホホルダーをエポキシ接着剤でヘルメットに固定しています。。

アプリURL(Google Play):https://play.google.com/store/apps/details?id=net.akirayou.SoundOnlyAR_N


ソースURL: https://drive.google.com/open?id=1vDuvSW4aRxbbD0l8PbkKZHAPml5-wRHh