Более быстрый и точный метод наложения кадров с актерами на различные фоны позволяет режиссерам видеть, как будут выглядеть их кадры в процессе съемки

Исследователи компании Netflix создали новый тип технологии зеленого экрана с искусственным интеллектом, который позволяет создавать реалистичные визуальные эффекты для кино и телевидения в режиме реального времени.

Технология “зеленого экрана” обычно используется для съемки актеров, которые затем вставляются на передний план виртуальных или заранее записанных сцен. Для этого актеры снимаются на ярко-зеленом фоне, который легко выделяется и удаляется цифровым способом.

Этот процесс может выполняться автоматически с достаточной точностью, как, например, в телевизионных прогнозах погоды, но его могут сбивать предметы зеленой одежды, прозрачные или тонкие объекты, например, локоны волос. Когда требуется большая точность при съемке фильмов или телесериалов, специалисты-операторы настраивают параметры вручную, причем иногда на доводку кадра до совершенства уходят часы.

Стремясь создать быструю и точную технику, Netflix разработала метод, названный Magenta Green Screen (MGS). Актеры снимаются на фоне ярких зеленых светодиодов, а спереди освещаются красными и синими, которые в совокупности создают пурпурное свечение (см. видео выше).

Поскольку цифровые камеры работают по принципу получения индивидуального значения красного, зеленого и синего цвета для каждого пикселя, эта техника позволяет создать зеленый канал, который записывает только фон, а передний план кажется черным, и красный и синий каналы, которые записывают только передний план, оставляя фон черным. Вместе они создают пурпурный и зеленый цвета.

Редакторы фильмов могут заменять зеленый канал в реальном времени, реалистично и мгновенно помещая актеров на передний план другой сцены, причем даже такие потенциально сложные участки, как прозрачные бутылки или область вокруг прядей волос, работают без проблем.

“Компьютеры уже предоставили такие мощные инструменты, которые упрощают многие вещи”, – говорит Пол Дебевек, один из исследователей Netflix. “Это еще одна вещь, которую мы можем сделать проще, чтобы талантливые художники, которые у нас есть, могли сосредоточиться на художественном оформлении, на том, чтобы все выглядело лучше”.

Однако у этого метода есть проблема. Поскольку передний план записывается только в синем и красном цветах, актеры выглядят пурпурными. Чтобы решить эту проблему, Netflix использует искусственный интеллект для возвращения полного спектра цветов на передний план, используя фотографию актеров, освещенных обычным светом, в качестве эталона для создания реалистичного зеленого канала. Этот искусственный интеллект работает быстро, но пока не в режиме реального времени, хотя такие быстрые методы, как усреднение красного и синего каналов для создания приближения к зеленому каналу, работают достаточно эффективно, чтобы режиссер мог следить за ними во время съемок.

Дрю Лахат из видеопроизводственной компании Geiger Post в Калифорнии говорит, что индустрия всегда приветствует новые методы, но эта техника включает в себя множество сложных этапов, которые пока не могут соответствовать быстрому темпу съемок кино и телевидения.

“Есть целый ряд аспектов этой технологии, которые с практической точки зрения заставляют меня задуматься, стоит ли ее использовать”, – говорит он. “Она может хорошо работать в полностью контролируемом пространстве, но ей придется конкурировать с другими новыми технологиями, такими как виртуальные съемочные площадки, и завоевывать продюсеров в реальных сценариях”.