Полгода назад, во время выставки NAB 2023, компания Adobe обещала грандиозный релиз своей модели искусственного интеллекта Firefly для видео. Тогда в анонсе говорилось о вещах прямо из научно-фантастических книг — о нейронных сетях, которые помогут нам одним щелчком мыши превратить сценарии в готовые раскадровки, или об интеллектуальных механизмах, способных генерировать звуки, идеально подходящие к визуальным эффектам. Хотя мы еще не дошли до этого момента, оказывается, что в будущем нас ждет еще много инструментов искусственного интеллекта от Adobe. На недавней сессии Adobe Sneaks инженеры раскрыли ряд других текущих проектов, которые действительно поражают воображение. Некоторые из них заставляют меня почувствовать, что будущее кинематографа уже не за горами. Так ли это? Давайте посмотрим на это вместе!

На демонстрации Adobe Sneaks были представлены всевозможные проекты, находящиеся в стадии разработки, включая инструменты для создания 3D-форм, улучшенное редактирование фотографий с помощью искусственного интеллекта и инструменты для простого видеокомпозитинга. Кроме того, вы, возможно, уже слышали о проекте Primrose, вызвавшем бурную реакцию во всем Интернете. Его идея основана на вопросе о том, как изменится индустрия моды, если наши вещи можно будет изменять так же легко, как и их дизайн, простым нажатием кнопки. Видели ли вы когда-нибудь нестатичное цифровое платье, позволяющее своей владелице обновить наряд в мгновение ока? Определенно стоит посмотреть!

Ниже мы выбрали несколько “незавершенных” инструментов искусственного интеллекта от Adobe, которые показались нам особенно интересными для кинематографистов. Если вы хотите посмотреть всю трансляцию, перейдите по ссылке.

Раскадровка как профессионал с помощью инструментов искусственного интеллекта от Adobe

Лично я знаю лишь несколько режиссеров, которые не делают эскизов своих кадров перед съемкой. Но точность этих эскизов может зависеть как от мастерства их создателей, так и от наличия у них времени. Как известно, не каждое производство (особенно инди) может позволить себе профессионального художника-раскадровщика, а ведь так хочется перенести свое видение на бумагу и донести его до команды. И вот, пожалуйста! Проект компании Adobe Draw and Delight может стать вашей правой рукой в этом вопросе.

На первый взгляд, это новый генератор изображений, похожий на Midjourney или Firefly. Но при этом вам не придется утомительно настраивать текстовую подсказку, чтобы получить картинку, близкую к вашей идее. По сути, новый инструмент превращает очень грубый набросок объекта или персонажа в подробный рисунок. В презентации разработчик нарисовал кошку, играющую с мячом, и позволил ИИ интерпретировать ее. Как вы можете видеть ниже, результат превзошел все ожидания, идеально соответствуя позе кошки. И это было только начало.

Эта модель также позволяет авторам добавлять текст, легко менять позу сгенерированного персонажа (например, по команде «кошка танцует»), раскрашивать его несколькими грубыми мазками, а также вставлять фон или другой объект, используя тот же простой стиль рисования. Самое интересное? Все изображения создаются в векторе, поэтому их можно перенести в Adobe Illustrator. Затем их можно перемещать и изменять по своему усмотрению. Похоже, это идеальный способ самостоятельно создавать быстрые раскадровки.

Уровень заполнения с учетом содержимого

Если вы работаете с VFX в Adobe After Effects, то, скорее всего, уже знакомы с функцией content-aware fill. С ее помощью режиссеры могут замаскировать мешающие элементы в кадре, а инструмент сделает все возможное, чтобы заполнить пробелы. Однако компания Adobe решила вывести эту технологию на новый уровень и представила Fast Fill.

Демонстрация состояла из трех различных примеров. В первом из них искусственный интеллект выделял людей на заднем плане, плавно подстраиваясь под движение камеры в видеоролике (как и в случае с content-aware fill, но в более продвинутом варианте).

Дальнейшие примеры выглядели настолько нереально, что мне самому захотелось их опробовать. С помощью простой маски, нескольких слов и нажатия на кнопку “генерировать” нейросеть добавила галстук идущему бизнесмену и изменила узор на движущейся поверхности кофе на снимке крупным планом. Самое удивительное, что новые элементы не чувствовали себя неуместными. Освещение менялось в соответствии с остальным видео. Ткань галстука двигалась в соответствии с движением тела, а колебания кофе органично вписывались в новый рисунок, и вы никогда не догадались бы, что он был изменен.

Помните, как вы мучились, пытаясь вставить логотип клиента на продукт, чтобы обновить старый рекламный ролик? Похоже, скоро это останется лишь воспоминанием.

Увеличение масштаба видео в программе Adobe

Еще один инструмент, который собирается выпустить Adobe, не является чем-то новым для рынка. Так называемый проект ResUp — это, как следует из названия, апскейлер с искусственным интеллектом. В этой области существует несколько ведущих приложений, среди которых широко известная Topaz Labs. Однако возможность масштабирования изображений низкого разрешения непосредственно в программе Adobe, безусловно, ускорит и сделает более удобной работу редакторов (при условии, что вы работаете с продуктами Adobe).

Как и его конкуренты, ResUp может обрабатывать изображения и видео из различных источников даже меньшего разрешения, чем HD. На презентации были показаны последовательности из сильно увеличенного снимка, сцены из старого фильма и даже крошечного GIF. Результаты выглядели убедительно, но для того, чтобы сделать окончательный вывод, нам придется дождаться публичного доступа.

Инструмент для дублирования аудио: говорите на нескольких языках, не изучая их
А теперь перейдем к проекту, который привел меня в ужас. Используя искусственный интеллект, Dub Dub, судя по всему, сможет автоматически дублировать ваш видеоклип на иностранный язык. В демонстрационном ролике нейронная сеть не только перевела речь женщины, но и воссоздала ее голос и сгенерировала видеоверсию на нескольких языках, которые она, вероятно, даже не знает. Поразительный результат, но, честно говоря, и пугающий.

Безусловно, это облегчит жизнь многим творцам, в первую очередь – YouTube-блогерам. Однако я представляю себе, как я буду говорить на китайском языке – языке, который я так и не выучил, — и у меня волосы встанут дыбом. Кроме того, возникает проблема с обработкой и использованием моего голоса (или голоса клиента, если на то пошло). Где будут храниться все эти данные? Кто сможет получить к ним доступ?

Некоторые комментарии к этому инструменту, которые я нашел в социальных сетях, подтверждают, что я не одинок в своих опасениях. Пользователи опасаются, что эта новая технология искусственного интеллекта может быть использована не по назначению и с недобрыми намерениями. Кроме того, они не уверены, что она может сформировать в сознании людей искаженное представление о том, что “если это может сделать ИИ, то зачем мне вообще нанимать человека?”.

Подход «текст в видео» в инструментах ИИ от Adobe

В очередном выступлении компании Adobe было сказано несколько слов о подходе к работе с текстом и видео. Как вы, вероятно, знаете, несколько компаний работают над технологиями, которые позволят нам вводить описание сцены в простое текстовое поле и получать в ответ сгенерированное видео (например, мы писали об исследованиях Google здесь). Фактически, Gen2 от Runway уже делает это — хотя, конечно, не безупречно — и вы даже можете опробовать их нейронную сеть.

Adobe не хочет опаздывать, поэтому она также представила новый генеративный ИИ Firefly для видео, который в ближайшем будущем может быть интегрирован в Premiere Pro.

Согласно демонстрации, мы также сможем загружать неподвижные изображения и позволять Firefly анимировать их. Звучит как возможная замена всем тем панорамированиям и зумированиям, которые редакторы и создатели контента часто применяют к таким изображениям, чтобы сделать видео более динамичным.

Кроме того, Adobe обещает, что пользователи смогут обучать свои собственные модели, что, надеюсь, будет несколько проще, чем решать эту сложную задачу самостоятельно.

Новая выпущенная модель Firefly и другие инструменты искусственного интеллекта от Adobe

Все вышеперечисленные инструменты – это всего лишь предварительный обзор. Мы пока не можем их протестировать или использовать и должны дождаться их выхода в свет. Изменят ли они кинематограф и станут ли огромной частью нашего повседневного рабочего процесса? Возможно. А может быть, и нет. В любом случае необходимо помнить, что эти проекты – только начало, и со временем эта технология будет становиться только лучше.

Например, новая модель генератора изображений Adobe Firefly, которая была недавно выпущена, обещает обеспечить гораздо более натуралистичное и последовательное изображение, чем ее предшественник. Если у вас есть учетная запись Adobe, вы можете опробовать его здесь вместе с другими графическими инструментами. В ближайшее время мы проведем подробный обзор новой модели, так что следите за новостями!

Как вы относитесь к недавно анонсированным инструментам искусственного интеллекта от Adobe? Как вы считаете, могут ли они изменить будущее кинематографа? Какой из них, по вашему мнению, будет полезен в вашей повседневной работе? Пожалуйста, поделитесь своими мыслями в комментариях ниже!