Netflixが、新たなグリーンバック合成の手法を開発した。不自然なシーンが生まれることのあったグリーンバック合成において、救世主になるかもしれない。
グリーンバック合成とは、グリーン単色の背景の前で役者が演技する撮影技法だ。後工程でグリーンの部分を切り抜き、別素材の背景映像と合成する。実物のセットでは再現が難しい大規模な背景を、後工程で再現することができる。
一方、限定的な色情報を手がかりにソフトウェアが半自動で合成することから、境界部の判定がうまくいかないことも少なくない。髪の毛など入り組んだ箇所では判定がうまく働かず、境界部がちらついたり背景に溶け込んで消えてしまったりすることがあった。
新たに開発されたマゼンタ・グリーン・スクリーン(MSG)は、この問題を解決するものだ。撮影現場で演者に対し、赤と青の光を照射する。混色後はマゼンタ(赤紫)の光となり、背景のグリーンと最も離れた色(補色)となる。境界部がより鮮明になることで、合成の不具合の低減が見込まれる。
演者の色はどう復元?
この手法は科学論文『マゼンタ・グリーン・スクリーン:奥行きを持った色づけにより空間上で多重化されたアルファマット』題し、6月に発表された。アルファマットとは、画面のどの部分が前景かを指定する情報のことだ。
ただし、マゼンタの照明の下では、演者の全身がマゼンタ色に染まってしまう。そこで、マゼンタ・グリーン・スクリーンの手法では、通常の自然光の下で撮影した映像素材を機械学習し、マゼンタ色に染まった映像を自然な色味へ復元する。
色情報の復元に関しては、AIによる補正以外の手法も提示されている。時間差を用いて高速で照明を切り替えることで、ナチュラルな色味を表現できる可能性があると論文は述べている。
通常の映画撮影では、1秒間に24コマの速度でシャッターが切られる。そこで、これを上回る秒間144回という速度で、照明をマゼンタとグリーンで切り替える。1回シャッターを切るあいだに照明が6回混色され、ニュートラルな色味を撮影できる可能性があるという。
米技術メディアのテック・クランチは、本技術はまだ実験的な段階ではあると指摘しながら、「Netflixの研究者たちは、新旧を組み合わせることで、シンプルで完璧な合成を実現しようとしている」とも期待を寄せている。
---fadeinPager---
ブルー? グリーン? 現場を悩ませてきたクロマキー合成
Netflixのマゼンタ・グリーン・スクリーンは、撮影環境の光源を工夫することにより、合成の不具合を解消するものだ。合成にはブルーの背景が使われることもあり、何らかの色情報をもとに合成する処理を総称してクロマキー合成と呼ぶ。
撮影の状況により、最適な色は異なる。プロ向け映像ソフトウェアを開発するアドビは、明るい昼間のシーンには光度の高いグリーンを、暗い夜のシーンには暗いブルーを勧めている。また、デジタル撮影の時代に入ってからは明るくくっきりとしたグリーンが好まれているものの、演者と背景の距離が近接している場合、暗いブルーを用いて色の反射の影響を抑えることがある。
こうして撮影された映像は、ポストプロダクションと呼ばれる撮影後の後工程の段階に引き継がれ、別撮りで用意した背景用の映像素材と合成される。ただし、ディテールの細かい箇所においては、背景色と前景の演者が1つのピクセルのなかに混在してしまう。
自動で分離できない場合、ロトスコープと呼ばれる作業を通じ、前景と背景の境界線を1コマずつ手作業で指定することになる。それでも対応が難しい場合、これまでは境界線がちらつく不自然な合成結果が残りがちだった。
制作現場に浸透する可能性は未知数
もっとも、マゼンタ・グリーン・スクリーンが今後業界に受け入れられてゆくかについては、予測が難しい。現在ではほかにも新たな合成技術が台頭しているためだ。
カリフォルニアの映像制作会社・ガイガーポスト社に務める映像エンジニアのドリュー・ラハト氏は、英科学雑誌のニュー・サイエンティストに対し、現時点で一般的な撮影現場に適用することは難しいのではないかとの考えを示している。
「完全に制御された空間ではうまくいくかもしれませんが、バーチャル制作ステージなどの新しい技術と競合します。現実的なシナリオを念頭に、プロデューサーたちを納得させなければならないでしょう」
競合のバーチャル制作ステージとは
バーチャル制作ステージとは、演者の背景に高解像度の大型LEDスクリーンを設置し、そこに背景映像を映す技法だ。背景映像の前で演者が直接演技するため、ポストプロダクションでの合成プロセスが不要になる。
また、LEDの光が役者の身体に投影されることから、背景と演者のライティングの不一致が発生するリスクも軽減できる。背景に青空と荒野を投影すれば、演者の上半身も自動的にナチュラルな青みを帯びるという具合だ。
テクノロジーの発展に伴い、撮影現場の技術は急速に進歩している。かつては大作映画でさえ合成の不自然さに気が散ることがあったが、現在ではこのような低品質の作品を目にする機会はずいぶんと減った。
少なくともマゼンタ・グリーン・スクリーンの開発は、映画産業だけでなくストリーミング業界も技術革新の旗振り役に加わったことを象徴するものだ。ダイナミックな映像美に没入するための撮影環境づくりは、今後ますます加速することだろう。
---fadeinPager---
Netflix’s AI-assisted green screen bathes actors in eye-searing magenta https://t.co/T9TwRbXwiK pic.twitter.com/NnwPww2gIW
— Hala Bughazi (@HalaBughazi) July 10, 2023