Apple Vision Proの“視線操作”を実現する「アイトラッキング」技術とは？

視線をコントローラに変える先端技術

Vision Proを操るためのコントローラ（ポインティングデバイス）は、マウスやトラックパッドではなく装着しているユーザの目線です。Vision Proはユーザの目の動きを赤外カメラで検出し、その視線にある対象を特定することができ、これをアイトラッキング（Eye Tracking）技術と呼びます。

アイトラッキング技術は古くから研究が進められていたテクノロジーで、すでにさまざまな分野で利用されています。たとえばメガネ型のアイトラッキンググラスは、すでに自動車や鉄道など交通機関の運転手や航空機の操縦士の訓練などで実用化され、運転中の周囲への注意や計器類の確認などをモニタするのに使われています。

ほかにも、手指などが自由に動かせないユーザのコミュニケーションツールとしても有用です。基本的な仕組みはメガネ型と同じですが、バー形状のアイトラッキングデバイスをディスプレイの下（あるいは上）に取り付けることで、ユーザの視線の動きを追跡してポインタを移動させられます。

2021年9月にリリースされたiPadOS 15では、他社製のアイトラッキングデバイスに対応し、ユーザが目だけでiPadを操作できるアクセシビリティ機能を搭載しました。たとえば「滞留コントロール」を使うと、視線を一定時間同じ場所に合わせるとクリック操作ができ、視線のみでiPadのさまざまな操作が可能です。

高精度で安定したトラッキングの秘密

アイトラッキングには複数の方式がありますが、Vision Proが採用するのは「角膜反射（PCCR：Pupil Center Corneal Reflection）」と呼ばれる方式だと考えられます。

人間の目（外から見える部分）は、白目と呼ばれる表面の膜状の「強膜」と、黒目と呼ばれるレンズ状の「角膜」で構成され、さらに角膜は中心部の「瞳孔」とそれを取り巻く「虹彩」で構成されています。角膜反射方式では、視線の方向を検出するのに瞳孔と基準点の位置関係を利用しています。目の前方に光源となるLEDを配置し、その光が瞳（角膜）に映り込んだ像（プルキニエ像）を基準点として、瞳孔の中心部の方向と距離から視線の方向を算出する仕組みです。

また、LED光源が可視光だとユーザがまぶしく感じるため、目に見えない近赤外（NIR：Near Infra Red）で発光するLEDが採用されており、目の周辺を撮影するのには赤外カメラが用いられています。角膜反射方式における視線の測定精度（角度）は0.5度程度とされており、さまざまなアイトラッキング技術の中でも高い精度を誇る方式です。

さらに、Vision Proには片目あたり10個以上の近赤外LED光源と２個の赤外カメラが搭載されています。目の大きさや顔の形状の違いなどの影響を最小限に抑えることで、さまざまなユーザの利用でも高精度で安定したトラッキングができるよう工夫されているのです。

角膜反射（PCCR）方式では、赤外カメラで捉えた目のイメージから角膜に映った近赤外LED光源の像（プルキニエ像）を基準点として、瞳孔の中心部の方向と距離から視線の方向を算出します。

綿密な初期設定でユーザに最適化

アイトラッキングの精度を高めるために欠かせない設定プロセスが、キャリブレーション（Calibration）です。これはユーザ個人の顔の形状や目の特徴に合わせて、Vision Proのアイトラッキング機能を最適な状態に調整することを目的としています。

最初に実施するのは瞳孔間距離（IPD：Inter Pupilary Distance）の調整で、両目の瞳孔の距離に合わせて左右レンズの位置を変更します。これはアイトラッキング機能だけでなく、ディスプレイをユーザの目の位置に合わせ、体験の質を向上させる意味でも大きな意味があるのです。

まず、デジタルクラウンを長押しすると、内蔵されたモータによって左右のディスプレイレンズの間隔が自動で調整されます。続いてアイトラッキングのキャリブレーションが実施され、画面内に表示されるドットを目で追うことで、検出された視点と実際にユーザが見ているポイントのズレが補正されます。

visionOSは多くの操作をユーザの視線で行うため、アイトラッキングの精度を向上させるこのプロセスは極めて重要です。最後に両手をVision Proの正面にかざし、ハンドジェスチャのキャリブレーションを実施することで、初期設定プロセスが完了します。

Vision Proでは、カメラで捉えた周辺のイメージから再生成された仮想空間の中に、アプリのアイコンやウィンドウが3Dマッピングされ、ユーザの視線と指先のハンドジェスチャでこれらを操作します。（画像提供●村上タクタ）

Vision Proではアプリアイコンが3Dオブジェクトとして立体的に表現され、ユーザの視線が向けられたアイコンは、ポップアップアニメーションで視線操作の認識をユーザにフィードバックします。図は「Safari」を視線で選択したところ。写真では少々わかりにくいですが、アイコン内の赤い針の下に影が落ち、ポップアップ表示されています。

高精度なアイトラッキングを実現するには数多くのパラメータを正確に調整する必要がありますが、Vision Proでは自動調整の充実により非常にシンプルな操作でこれを実現しており、実にアップルらしい製品だと言えるでしょう。

カスタムチップによるストレスレスな体験

アイトラッキングでは、左右４つの近赤外カメラから得られたイメージで瞳孔とプルキニエ像を識別し、その情報をもとにユーザの視線の方向を高精度で算出します。視線入力を反映させる先は、８個のカメラを含むセンサ類が捉えた現実空間をベースに生成された仮想空間と、その上に3Dマッピングされた仮想オブジェクトを合成した２つの（両目の）スクリーンです。