HoloEdit — это нелинейный редактор объемного видео от Arcturus, входящий в их набор инструментов HoloSuite. Он обеспечивает интерактивное редактирование, ретуширование, уточнение, упорядочивание и многое другое. Компания разработала инструмент для редактирования и сжатия, чтобы сократить время и сложность проекта, а также поддерживает многие распространенные форматы объемных 3D-файлов. HoloEdit можно использовать для создания, редактирования и потоковой передачи объемно захваченных исполнителей для VFX, а также для иммерсивных проектов виртуальной и дополненной реальности.
Количество студий объемного видеозахвата выросло на 45 % с января 2021 года по декабрь 2021 года. Захват данных стал проще и доступнее по мере появления в сети большего количества студийных и портативных установок, но редактирование данных захвата остается серьезной проблемой для многих производителей и редакторов визуальных эффектов. .
В компании работает более 30 сотрудников, и в прошлом году она привлекла более 5 миллионов долларов для расширения (Bitkraft Ventures возглавила раунд). Компания была основана командой менеджеров с опытом работы с продуктами, искусством и наукой в Netflix, Autodesk, Pixar, Dreamworks, Google, YouTube и Uber. Генеральный директор Arcturus Камаль Мистри заявил в своем заявлении, что компания стремится создавать цифровые человеческие голограммы, снятые с реальности и настроенные таким образом, чтобы они могли взаимодействовать со зрителем в режиме реального времени. Например, в качестве цифровых агентов по обслуживанию клиентов, человеческих аватаров, виртуальных 3D-концертов и модных подиумов, а также визуализировать перспективу профессионального спортсмена в спортивных трансляциях.
Компания существует с 2016 года и обновляет свое программное обеспечение каждые 3-6 месяцев. Многие из клиентов являются художниками и пользователями в области музыки и 3D-концертов, а также VFX, но у компании также есть сильная пользовательская база в промышленности и обучении. Также сейчас также много движения в спорте.
Для этого компании необходимо выйти за рамки производства только точечных или независимых от кадра фотограмметрических сеток. Многие люди видели, как тома захвата создают одноразовые изображения от кого-то в томе захвата, состоящем из нескольких зеркальных фотокамер. Проблема с этим подходом заключается в том, что каждый кадр представляет собой уникальное решение, и поэтому непрерывное движение практически невозможно отредактировать. Кроме того, текстуры или UV-пространство могут быть крайне непоследовательными, поэтому повторное освещение или модификация даже предмета одежды чрезвычайно сложны, кроме простого выбора цвета предмета в традиционном подходе к 2D-конвейеру.
Девин Хорсман, соучредитель, объясняет, что HoloEdit стремится использовать все преимущества объемного захвата, такие как реализм и быстрота обработки, но при этом обеспечивать редактирование и управление традиционным 3D-конвейером. «Мы хотим иметь возможность предлагать все возможности компьютерной графики, к которым мы привыкли, как анимацию, возможность делать повторное освещение, иметь возможность изменять свойства материала чего-либо, а также легко ретушировать сетку, — что до этого было очень сложно в объемном видео».
HoloSuite предназначен для обработки большинства различных наборов данных, создаваемых в настоящее время различными базовыми технологиями объемного захвата. Обычно он работает с открытыми форматами, такими как Alembic, .OBJ, .PLY, а также со многими проприетарными форматами.
Согласованность временной топологии
В самых простых выходных данных объема захвата художник получает совершенно другую сетку для кадра 1, чем для кадра 2 и кадра 3, и так далее. Это усложняет редактирование сетки, и наличие этого редактирования после этого одного кадра становится затруднительным. HoloEdit решает эту проблему с помощью фазы стабилизации топологической сетки. Программное обеспечение делает это различными способами: от полностью автоматизированных решений до решений, ориентированных на художников.
На сегодняшний день самым современным является получение сегмента клипа от 10 до 100 кадров с единой последовательной топологией. По истечении этого времени потребуется дополнительное редактирование для следующего сегмента. Топология определяется таким образом, что для каждого кадра сохраняется полная топология (полный размер) на основе основного кадра для этого сегмента. Между сегментами, за границами сегментов может возникнуть проблема с разрывами. Например, если бы нормали поверхности были полностью пересчитаны, то любое повторное освещение возникло бы при изменении сегмента, «поэтому работа ведется над глобальными направленными текстурными картами поверхности вместо простых нормалей сетки (которые появляются при пересечении границ сегментов)». конспектирует Хорсман.
Для поверхностного редактирования HoloEdit предоставляет специальные инструменты рисования, которые позволяют художникам пересекать границы сегментов с одинаковой консистенцией проецируемой текстуры, учитывая, что UV-отображение полностью отличается между соседними видеосегментами. На операционном уровне, если художник рисует логотип на футболке в начале объемного видео, а затем на каждом сегменте, он может отредактировать и перепроецировать это закрашивание в новый сегмент, корректируя редактирование, если новое УФ-пространство вызывает какие-либо проблемы.
Данные также сжимаются позже в конвейере, чтобы позволить HoloEdit взаимодействовать с потоковым решением HoloStream компании, но во время редактирования данные сохраняются, не сжимаются и не скомпрометированы. Например, для редактирования визуальных эффектов в автономном режиме сжатие не требуется и не обязательно для HoloEdit.
Повторное освещение
Одним из ценных аспектов HoloEdited является его способность повторно освещать объемный снимок. Большинство объемных решений захватывают альбедо, цвет, текстуру вместе с сеткой с нормалями для каждой вершины. Как правило, плотность сетки довольно высока, от 50 000 до 250 000 треугольников на кадр, но даже в этом случае решение сетки редко бывает достаточно высоким по детализации и нормалям поверхности для сложного повторного освещения. Более острые края сглаживаются, а лица кажутся усредненными и слишком упрощенными, чтобы их можно было слегка подсветить. Кроме того, вся сетка является одним «объектом», нет смысла создавать человека из отдельных объектов с отдельными BRDF. Нет и последовательности во времени.
HoloEdit начинает с попытки идентифицировать или сегментировать скан на материалы одного типа. Для заданных точек на поверхности программа выполняет «сегментацию материала». Затем он пытается аппроксимировать материальные свойства каждого из них. Этот этап называется «материальной оценкой». Комбинированная сегментация материала и оценка позволяют пользователю осмысленно редактировать и настраивать отсканированные данные, не полагаясь на упрощенные 2D-фильтры или подходы к манипуляциям. Это активное направление исследований компании.
Используя машинное обучение, компания также исследует суперразрешение машинного обучения для обеспечения «супернормальностей». это предполагаемое решение обеспечивает путь для более правдоподобного повторного освещения поверхности нормалей.
Не все эти инструменты всегда дают идеальные решения, но компания рассматривает 3D-сообщество как взаимосвязанное и совместное, поэтому часть их работы создается с прицелом на то, чтобы сидеть в конвейере. Иногда предоставления 90% решения достаточно, чтобы позволить другим инструментам отшлифовать или решить некоторые из самых сложных проблем в этой области. Arcturus хочет быть хорошим партнером и участником сложных и инновационных процессов, особенно учитывая сложность изучаемых ими проблем. Например, Arcturus публикует HoloSuite для Maya и HoloSuite для Mari в виде подключаемых модулей.
«Ригинг»
Чтобы обеспечить анимацию и манипулирование, инструменты HoloSuite создают установку для отсканированных актеров. В процессе используется несколько ракурсов камеры, чтобы определить правильное положение рига. В этой области была проделана значительная работа по определению рига только по 2D-изображению, но инструменты HoloEdit в HoloSuite могут использовать преимущества одновременной фотосъемки с нескольких камер. Их решение ищет корреляцию сфальсифицированных костей со всех этих положений камеры, а также корреляцию во времени. Без этого «идеальное» решение, решенное всего за один момент, может на самом деле привести к изменению длины костей с течением времени, что было бы крайне нежелательно. HoloEdit предоставляет пространственное и временное решение, направленное на наилучшее соответствие всех данных, которое обеспечивает стабильную согласованную платформу для последующей анимации.
Риг из 16 костей можно легко экспортировать в распространенные форматы. Процесс включает в себя как продвинутый ИИ для глубокого обучения, так и более традиционные алгоритмы статистической оптимизации. В настоящее время установка не имеет костей для рук, что отчасти связано с разрешением пальцев актера при съемке в полный рост в установке с обычным объемом захвата. Разрешение визуального захвата полноразмерного корпуса камеры или сцены обычно недостаточно для обеспечения высококачественного и точного обзора подвижных пальцев и рук. Arcturus работает над этой проблемой и переходит на более плотную установку из 32 костей. «Мы видели устройства захвата с чрезвычайно высоким качеством/высоким разрешением, которых еще нет на открытом рынке, но прямо сейчас мы пытаемся обеспечить ценность для большинства наших клиентов», — комментирует Хорсман.
У большинства персонажей есть первичное движение, которое будет обработано ригом, а затем есть вторичное движение, такое как развевающиеся волосы или одежда. Вторичное движение фиксируется как часть базовой технологии, и хотя в настоящее время это не видно пользователям, «это будет реализовано в будущих более сложных скелетах, которые мы выпустим, — добавляет Хорсман. «И они послужат основой для моделирования и позволят пользователям иметь физически правдоподобное движение при анимации персонажей».
Любой реквизит, такой как сумки и т. д., можно удалить из решения для захвата. Пользователи могут определить 3D-область или пойти дальше и удалить любые данные определенного цветового диапазона внутри этой области. «Это похоже на трехмерный подход к зеленому экрану», — объясняет он, указывая на пример стоячей опоры, такой как фальшивая дверь автомобиля. Маловероятно, что объем захвата сможет захватить человека и машину, но может быть ключевым моментом наличие дублера для двери автомобиля, поэтому актеру есть к чему стремиться в начале. Это также отличный пример того, как установка пост-захвата была бы неоценимой. Его можно использовать для перенастройки руки актера, чтобы она точно соответствовала двери реальной машины, когда снимок сочетается с виртуальным или цифровым 3D-автомобилем.
Для размещения комментариев необходимо авторизоваться