Appleの映像系AIの技術開発が進んでいる。本記事では、暗所でも細部まで再現できる「DarkDiff」。そして、1枚の写真からわずか1秒で3Dモデルを生成する「Sharp」を紹介しよう。すぐにiPhoneに搭載されるわけではないが、将来のiPhoneのカメラがどうなっていくかを見通すことができるはずだ。
スマホカメラと一眼レフカメラで異なるAIの役割。撮影のサポートか、画作りのサポートか
「ProシリーズのiPhoneがあれば、一眼レフカメラはもういらない」という話はあちこちで耳にする。しかし、スマートフォンのカメラと一眼レフのカメラは、それぞれの特徴を活かした方向に進み始め、まったく別物になろうとしている。写真を趣味にしている人は、どちらか一方ではなく、両方とも欲しくなるのではないだろうか。
キーワードはAI。一眼レフカメラのAIの使い方は、撮影者のアシストだ。たとえば、フォーカストラッキングは驚くほど進化している。人や動物、乗り物など被写体になりそうな対象物を認識し、フォーカスが追随していくのだ。スポーツの試合で特定の選手にフォーカスロックすれば、その選手がどれだけ移動しても、前を別の選手が横切っても、目的の選手をフォーカスし続ける。撮影者は、アングルやシャッターを切るタイミングに専念すればいい。
一方スマホのカメラは、AIが積極的に画づくりに介入してきている。美肌・美顔機能だけでなく、ズームすれば細部を生成AIが補い、青空や夕焼けの空が現実より美しく見えるように色彩を調整する。スマホのカメラは「真を写す」というところから離れ、光学的に取得したデータに基づき、画像を生成する装置になろうとしているのだ。
スマホカメラの課題は暗所でのノイズ処理。Appleが開発した新たな解決策・DarkDiff
スマホのカメラは光学センサの面積が小さいので、たくさんの光を受けることが難しい。そのため、暗いところでの撮影に弱い。ざらざらの質感になってしまった経験がある方も多いだろう。元のデータが暗いため、画像処理で全体を増幅して明るくしようとするとノイズが乗ってしまうのだ。
たとえば、昼間の写真で100の明るさがあってノイズが1の場合、大きな問題にはならない。しかし、暗所では10の明るさしかなく、ノイズが1ある。暗いからと感度を10倍に増幅すると、100の明るさになるがノイズも10に増幅されてしまう。これで、質感がざらざらになる。
解決策としてよく使われるのは、前後左右のピクセルからノイズ部分を推定し、平滑化する方法だ。しかし今度は質感がのっぺりし、素人が描いた油絵のようになってしまう。
そこでAppleは、DarkDiffと呼ばれる手法を開発した。
