&30

実物とは違う現実が記録される!? 最新スマホとAIがもたらす新しい写真の世界

  • 文・ライター 堀 E. 正岳
  • 2018年11月14日

スマートフォンで撮影した写真は驚くほど美しくなった(gettyimages)

最近のスマートフォンで撮影した写真は、妙にきれいだと思いませんか?
スマホの搭載カメラの解像度やレンズの性能が年々向上しているのは確かです。しかし、それにしても、風景は映画の一シーンのようにドラマチックに写りますし、自撮りをした場合の肌のつやは、アプリを使わなくても「美顔フィルター」をかけたようになめらかであることも当たり前になっています。
こうした、時に目で見たものよりも美しい写真は、過去に世界中で撮影された膨大な写真の情報に基づきつくられたアルゴリズムが画像を処理する技術「コンピュテーショナル・フォトグラフィー(Computational Photography=コンピューターによる高度な画像処理を前提とした写真撮影)」が生み出しています。
お気に入りの1枚は、計算が生み出した「作られた現実」かもしれないのです。

最新スマホでは加工された写真は当たり前!?

手持ちのデジタルカメラでもスマホ搭載のカメラでも、レンズを通して入ってきた光をセンサーが読み取り、1枚の画像として保存する原理は同じです。
しかしスマホの小さなレンズやセンサーの解像度では、撮影できる画像の表現力には限界があります。そこで近年発展してきたのが、撮影「後」のデータ処理によって画像の美しさを引き出すコンピュテーショナル・フォトグラフィーです。
例えば、アップルの最新スマホiPhone XSは、その頭脳であるA12 Bionicチップに内蔵されたISP(画像信号プロセッサー)が1秒間に1兆回もの計算を実行して、センサーが受け取った情報をあらゆる角度から調整します。
例えば、逆光で顔が暗くなっている写真の場合、ISPは目や鼻といったパーツや顔の輪郭を判別して顔の部分だけを明るく補正し、映像の残りの部分がそれと調和するように露出やホワイトバランスを調整しています。
専門家がフォトレタッチソフトで行っていることと同じような処理を、スマホは自動で行っているのです。

  

Googleが日本市場に投入した最新スマートフォンPixel 3でも事情は似ています。
Pixel 3はiPhone XSと同様の画像処理に加え、連続したバースト撮影の中から撮影された人物が目を閉じていないか、手ぶれをしていないかを判断し、客観的に見て最もよい1枚を選んでくれる「Top Shot」機能が人気です。
絵の具で塗りつぶしたようになりがちなデジタルズーム撮影でも、手ぶれを補正して映像を高解像度化するSuper Res Zoomという機能が実現しています。いずれも、背後に持っている膨大なデータから、ISPが、「ユーザーにとって理想となるだろう映像」を生み出している例です。
あなたのスマホに保存されている写真は、もはや最初からデジタル的に加工された、もう一つの現実といえるのです。

計算が生み出した新しい写真表現

コンピュテーショナル・フォトグラフィーが美しい写真をつくり出す仕組みは、Googleの画像検索の仕組みによく似ています。
画像検索はネット上のありとあらゆる過去の写真を蓄積し、分類することで、検索されたキーワードに最適な画像を返します。
これと似たように、Googleの場合は無料の画像ストレージサービスであるGoogle Photosに保存された膨大な画像を通して、どのような構図がありがちで、どのような色合いが正解なのかといったノウハウを蓄積しています。そうしたノウハウが、逆に写真をどのように補正すれば美しく見えるのかというアルゴリズムに反映されているのです。

人間の顔であることが認識されると、AIが適正と考える補正が加えられる(gettyimages)

こうした画像処理は、ただ写真を美しく見せるためだけではなく、新しい表現を生み出すためにも利用されています。
たとえばiPhoneのポートレートモードで撮影した画像には、被写界深度を推定した情報も存在していますので、これを利用することで、前面の人物にピントを合わせたまま、背景だけを任意にぼかすことが可能です。これまでレンズと絞りでしか表現できなかった「ボケ」を、デジタル的にあとから生み出せるのです。

同様のデータを利用した「Focus」というアプリは、撮影後にデータ上で、画面の奥に新たな光源をつくることもできます。まるで撮影時につけ忘れていた背景のライトをあとから点灯させるような編集が可能で、これも過去の常識を塗り替えています。
スマホの写真に埋め込まれたこうした情報を利用して、新しいメディアを生み出す試みも始まっています。
Facebookが対応した「3D写真」機能は、スマホからポートレートの写真をアップロードするだけで奥行きのある、手前と奥のものがべつべつに動く不思議な映像を作成してくれます。
もはやスマートフォンにおける写真はフィルムに焼き付けた動かない絵ではなく、どのような配置だったのか、どのような光があったのかという情報すら書き換えることができる、新しいメディアといってもいいのです。

自撮りを美しく撮れることを多くのユーザーが求めている!? (gettyimages)

アルゴリズムを通じて見た世界が普通になる

しかし、ここまで読んで、なんだか腑(ふ)に落ちない気分になる人もいるでしょう。
いくら美しく、見栄えのする写真だとしても、現実に存在しない光や色を画像処理で足した画像は、もはや「写真」とは呼べないのではないでしょうか? 現実のように見えても、どこかにウソがある映像だとはいえないでしょうか? ユーザーの中には、こうしたデジタル的な加工に対して異論を唱える人もあらわれています。
人気YouTubeチャンネル、Unbox Therapyのルイス・ヒルセンテガーさんは、iPhone XS Maxを試していて自分の顔が実際以上になめらかで赤みがかっていることに気づき、その度合いがほとんどフィクションに近いと評しています。
ヒルセンテガーさんは、iPhone XS Maxの前面カメラで撮影する際に、自分の顔の前に手を置くだけで画像が全体的に青みかかる様子を報告しています。人間の顔が判別されるとISPが自動的に肌を明るく、健康的な色に補正するのですが、手で顔を隠すとその処理が行われないために、こうした違いが生じるのです。
人によっては年齢からくる肌の細かい凹凸や薄いヒゲ、そばかすといった個性も、画像処理によって美しく「補正」されてしまい、写真の「記録」としての意味があいまいになっているケースもあります。
似たような状況はPixel 3のTop Shot機能でも生まれます。写真の面白さは偶然目をつぶったり、レンズを意識しない動きが捉えられていたりする際に際立ちますが、Top Shotでは全員が笑顔で瞬き一つしていない、ともすれば一本調子の映像を推す傾向があるのです。
ほとんどの人が日常的に使うカメラがスマホとなったいま、こうした機能を使ううちに、あなたのフォトアルバムの中は奇妙なことになるかもしれません。
どの写真も美しくライティングされていて、完璧な笑顔でみんな笑っているのですが、どこか自分の記憶とは異なった、違和感のある写真ばかりになるのです。
「家族の肌の色はこんな風だったろうか?」
「あの時見た風景はこんなに映画のような色合いだったろうか?」
という具合に、写真と現実の記憶がずれていき、写真のもつ記録性がゆらぐことにもなりかねません。
一部のユーザーのこうした指摘もあって、アップルは顔写真において色合いが赤くなりすぎる点について問題を認め、アップデートで対応することを約束しました。

しかし画像処理による写真の補正そのものは止めようがない時代の流れです。
アップルやGoogle、サムスンなどといったスマホのメーカーはすべて自撮りの美しさがユーザーにとって非常に重要であることを意識しており、画像処理は今後さらに高度化してゆくことが予想されます。
もともと写真とは現実そのものではなく、レンズやフィルムまたはセンサーを通した表現の一つです。
コンピュテーショナル・フォトグラフィーによって、だれでもプロの写真家のような美しい画像を撮れるようになったことは大きな進歩です。一方、それはわたしたちが機械学習によって得られたアルゴリズムを通してしか世界の姿を記録できなくなるという、奇妙な新しい問題も生み出しているのです。
遠い未来には、この時代の人々のスマホに写った人間の肌の特徴的ななめらかさが、かつての肖像画や白黒写真などと同じように、わたしたちの時代を代表する表現として歴史家に認識される可能性すらあると言えるでしょう。

[PR]

この記事を気に入ったら
「いいね!」しよう

今、あなたにオススメ

Pickup!

Columns