「Apple Vision Pro」×「真鍋大度」スペシャルインタビュー。メディアアーティストが“見た”空間コンピュータの革新性

『Mac Fan 2024年9月号』の表紙を飾る、メディアアーティスト・真鍋大度。Vision Proをいち早く入手し、アプリ開発、DJプレイなどさまざまな用途で可能性を模索している真鍋さんに、特別インタビューを実施した。ぜひ、発売中の本誌と併せてご覧いただきたい。

Vision Proの性能は“気づけないほど”高い

──メディアアーティストとして多岐に渡る活躍をされている真鍋さんですが、現在、特に注力していることを教えてください。

主にソフトウェアを用いた作品制作に取り組んでいますが、作曲や映像制作も並行して行っています。最近では、パフォーマンス活動も増えてきました。

──そのアートパフォーマンスの一環かと思いますが、真鍋さんがVision Proを装着してDJをする様子がSNSで話題になっていました。

Vision Proは、2023年にAppleが発表した直後に購入を決意しました。

──日本未発売の時期に、現地アメリカまでVision Proを買いに行かれていますよね？

そうですね。アメリカでの発売後、すぐくらいに。

──Vision Proを実際に使ってみていかがですか？

性能に驚かされています。特にジェスチャ認識の精度が素晴らしいですね。また、自分の手と空間映像の前後関係を処理するオクルージョン処理が非常に自然です。これには手のシルエットを正確かつ高速に認識する技術が不可欠で、その実現度合いは衝撃的です。

──セットアップの際、手を数秒スキャンするだけでそれが実現しているのがまた驚くべきポイントです。

たしかにそうですね。私は、Vision Pro以前からさまざまなVRデバイスを使用してきました。解像度については、Vision Proと同等かそれ以上のものも体験しています。しかし、Vision Proのビデオシースルー映像の遅延の少なさは驚異的です。その完成度は非常に高く、カメラで撮影した現実世界の映像だと気づかない人もいるかもしれません。

──さまざまなVRデバイスを体験したからこそ、わかるすごさもあると。

音質も素晴らしいですね。空間オーディオの精度が高く、非常に自然です。むしろ、あまりにも自然すぎて、事前知識がない状態で体験すると、その革新性が伝わりにくいかもしれません。

ステージとフロアを一体化するDJプレイにおけるポテンシャル

──そこまで高評価であれば、仕事仲間に勧めたりも？

かなり熱心に推奨していますね（笑）。たとえば、私がVision Pro向けに開発したツールをミュージシャンのBIGYUKIさんに演奏で使っていただきました。ほかにも、ミュージシャンや俳優の友人たちに体験してもらったところ、皆すぐに購入を希望していました。

──やはり、一度体験するとそのすごさが伝わりますよね。

これまで多くのVR／MRデバイスが登場してきましたが、Vision Proのインパクトは、それらをプロトタイプのように感じさせるほどです。単体の性能はもちろん、アップルのエコシステムに組み込まれていることも大きな利点です。Macの画面ミラーリングや仮想ディスプレイとしての使用など、日常的な作業の延長線上で実用的に使えるMRデバイス、つまり真の空間コンピューティングデバイスが登場したと言えるでしょう。

──課題があるとすれば？

普及のためには、やはり価格が鍵です。ハードウェア面も重量などに改善の余地はありますが、ソフトウェアは急速に進化しています。

──ここまで広くVision Proの魅力を伺ってきましたが、ことDJプレイにおいてはどんな魅力がありますか？

従来、DJとオーディエンスはステージとフロアで分断されていました。しかしVision Proを使えば、物理的なDJブースが不要になり、仮想のDJブースをフロア上に設置してプレイできます。この新たな可能性に楽しさを感じています。

──物理的なコミュニケーションを取りながらDJプレイができると。

そのとおりです。ただし、物理的なブースがないと自分の行動を観客と共有しづらいため、Vision Proで見ている景色をスクリーンに投影するなど工夫をしています。現状の課題としては、本格的なDJプレイに対応するアプリがまだないことですね。

独自開発を進めるVision Pro向けアプリ

──ちなみに、DJプレイの際はどんなアプリをお使いですか？

使用しているのは「djay」と自作のアプリです。「djay」を使う場合、Vision Proで見ている画面と音をMacにミラーリングし、映像と音声の両方をMacBookから出力しています。

──独自のアプリは、App Storeへの公開も検討中ですか？

現在、3つのアプリを開発しています。そのうち2つは公開する予定です。この雑誌が発売される頃までには、何とか公開したいと考えています。

──それぞれ、どんなアプリなのか教えていただけないでしょうか。

1つ目はARアプリで、空間上に鍵盤、ドラムのパッドなどを表示し、操作するとパーティクルが飛ぶなど、ライブ演出に使えるエフェクトVJツールです。ただし、調整に手間がかかるため、公開するかどうかはわかりません。

──なるほど。エンタメ的な要素も強いアプリですね。

そうですね。2つ目は「Gesture OSC」というユーティリティアプリです。ユーザの自由度が高く、空間上にフェーダ、ボタンなどのインターフェイスを表示し、それらの操作をMacのソフトと連動させられます。名前のとおり、Macに限らずOSC（Open Sound Control）プロトコルに対応したソフトであれば、どのようなものでもコントロール可能です。

──DJプレイ以外にも活用できそうです。

3つ目は「PolyNodes」という実験的なアプリです。建築と音楽の融合を探求した作曲家ヤニス・クセナキスにインスピレーションを受けています。簡単に言えば、OpenAIの音声認識機能やVision Proのジェスチャ認識機能、波形の解析、空間オーディオを活用して、複雑な音を生成できるシンセサイザです。

真鍋大度が見る、Vision Proがもたらす未来

──そもそもですが、Vision Pro向けのアプリを開発するのは、プログラマーとしての下地がある人ならスムースにできるものなのでしょうか。

Unityを使い慣れている人なら、比較的簡単に開発できるはずです。以前のVR開発環境と比べると、開発プロセスがかなり簡素化されています。

──アプリ開発のほかに、Vision Proを使ってやりたいことはありますか？

Dolby Atmosの制作環境との連係は非常に興味深いですね。たとえば、Macで「Logic Pro」を起動してVision Proを装着すると、空間上でトランペットやピアノの位置を直接把握できるようなイメージです。これまで平面ディスプレイ上の3Dシミュレーションでしか見られなかったものが、直感的に理解できるのは大きな進歩だと思います。そのような機能が近い将来実装されるのではないかと期待しています。

──1つ目にご紹介いただいたアプリと近いイメージでしょうか。

おっしゃるとおりなのですが、このようなソフトは小さなチームでの開発には限界があります。そのため、Apple、Dolby、Abletonなどの専門企業がこういったソフトウェアを開発してくれることが理想的です。その点、Blackmagic Designが空間ビデオ撮影用のカメラを発表したことは注目に値しますね。恐らく、このカメラの発売に合わせて「DaVinci Resolve」もアップデートされ、空間ビデオやオーディオの制作プロセスがさまざまな分野で確立されていくでしょう。これらの進展により、来年あたりからミュージックビデオの制作手法も大きく進化すると予想されます。空間音響や空間映像を活用した、より没入感のある作品が増えていくかもしれません。

──コンテンツの充実と同時に、Vision Proの普及も進む予感がします。

ご指摘のとおりです。ビデオの次はライブコンテンツが主役になるでしょう。音楽ライブやスポーツ中継など、幅広い分野での応用が期待できます。技術的にはすでにVision Proでライブストリーミングが可能ですから、今後は開発者向けツールの提供と、それを支えるインフラやプラットフォームの整備が重要になってきます。アップルのイマーシブデモコンテンツの体験者なら、その圧倒的な没入感を実感できるはずです。現時点ではデモ映像の域を出ていませんが、「あの方式で実際のコンテンツを楽しみたい」という強い欲求を引き起こすでしょう。没入型のライブ体験が一般化すれば、エンターテインメントやスポーツ観戦の在り方が劇的に変わる可能性があります。視聴者がまるでその場にいるかのような臨場感を味わえる時代が、すぐそこまで来ているのかもしれません。