Как виртуально гулять среди инструментов симфонического оркестра, "телепортироваться" в различные углы боксерского ринга и взглянуть на медицинскую операцию глазами хирурга?
Мариинский театр. На сцене готовятся исполнить необычную композицию - увертюру из советского фильма "Тасс уполномочен заявить" (комп. Э. Артемьев). Но это не единственный эксперимент - среди музыкантов расставлены панорамные видео-камеры Insta360 Pro 2. Результатом съемки станет видео 360 (или, иначе - панорамное видео), в котором пользователь сможет передвигаться по сцене, заглядывать в партитуры, выделять на экране музыкантов, читая информацию о конкретном исполнителе и выделяя его аудиодорожку.Работая с технологиями виртуальной и дополненной реальности более 10 лет, мы давно поняли, что человеку хочется не только оказаться в виртуальной реальности, но и двигаться внутри видео 360, как в компьютерной игре. В совместном проекте с Мариинским театром мы реализовали ряд интересных решений:
Адаптация видео 360 для воспроизведения на разных платформах: IPad, IPhone, Android, Windows, MacOs и шлемах виртуальной реальности. Возможность отображения текстовой информации об объектах
Концепция “интерактивного оркестра”. Пользователь приложения или VR-гарнитуры может свободно переключать аудиодорожки: приглушать одни музыкальные инструменты, выделяя другие
Синхронизация аудио-дорожек и видео высокой четкости 8К при "телепортации". Пользователь переносится из одной точки в другую без прерывания звука
Мы уже несколько лет получаем фидбек от пользователей, которые хотят не только "прогуляться" по видео, но и получать на экране дополнительную информацию об объектах, просто наведя курсор. Такого видео в обычном формате нет, а в видео 360 есть. Поэтому мы решили сделать интерактивную систему с симфоническим оркестром, в которой можно будет не только перемещаться от точки к точке в процессе просмотра, но и узнать краткую информацию про музыкантов, дирижера и солистов.
За одной идеей возникла другая. Раз мы читаем информацию, то почему бы и не разделить на отдельные аудиодорожки музыкантов? И мы с нашим звукорежиссером Святославом Савельевым начали думать: возможно это или нет, каким образом это осуществить, потому что примеров такого интерактивного оркестра мы не встречали. Наверняка существуют аналоги, но специальным исследованием не занимались.
Святослав Савельев, звукорежиссёр, композитор:
Никакой хитрости в записи нет - нужно правильно расставить микрофоны, чтобы получить честный звук во всех направлениях. Сложность состоит в том, чтобы объединить эти дорожки так, чтобы слушатель получил максимально реальный звук, и при этом этот звук правильно менялся, если, допустим, пользователь поворачивает голову. На этапе обработки как раз начинается магия. Казалось бы, пользователь повернул голову - звук должен "поворачиваться" вместе с ним. Для этого делаем громкость одного из динамиков наушника тише, а в другом - поднимаем. Отчасти это так, но тут вступают частотные и пространственные особенности восприятия нашего звука. Мы, грубо говоря, с разной громкостью воспринимаем разные частоты и по-разному их локализуем. Это связано с эволюцией: слуховые рецепторы сформировались таким образом, чтобы он мог вовремя услышать хищника, определить его. Есть специальная функция, реализованная в разном ПО, которая показывает то, как хорошо мы слышим разные частоты и локализуем их, применяем для обработки, плюс используем глубинную обработку, чтобы соблюсти верные расстояния до объектов. В сумме получается более-менее точная картина. Для рядового слушателя это будет звучать достаточно реалистично, словно он находится внутри события.
В процессе обработки выяснилось, что выделить отдельного музыканта нельзя. В результате я разделил оркестр на условные зоны и создал для каждой зоны свою дорожку (микрофона, который был ближе всего к конкретным музыкантам). Если каждый музыкант записан точечно, то на этапе обработки мы можем услышать любой инструмент и, следовательно, - управлять ими. Квалифицированный программист может разработать интерфейс и логику, с помощью которых можно менять уровни громкости музыкантов. И вуаля - вы не только находитесь в центре виртуального оркестра, но и способны выбрать, кого вы хотите услышать, вы можете разобрать каждый инструмент и понять, как он звучит. Например, выбираете скрипки - они играют громче, выбираете перкуссию - слышите их более отчётливо. Это даёт возможность понять особенности состава оркестра, изучить и поиграть с группами музыкантов, услышать нюансы, да и в целом получить удовольствие от возможности управления звуком.
Нам показалось самым сложным и одновременно интересным создать магию “телепортации” внутри видео 360. Эта опция еще остается новинкой на рынке VR решений, хотя иногда заказчики сами просят разработать подобные интерактивные пространства. В принципе, ничего сложного в технической реализации нет, требуется работа профессионального программиста, который смог бы грамотно обработать видео в программной среде и реализовать необходимые алгоритмы. В процессе разработки мобильных и VR-приложений, мы встретились со множеством нюансов, один из которых состоял в том, что эффект “телепортации” хорошо воспринимается человеком тогда, когда звук идет непрерывно. Например, пользователь только что был рядом с дирижером, а потом перенесся в середину оркестра к трубачам. С точки зрения звука, это должно произойти бесшовно, звук не должен прерываться, иначе возникнет ощущение технической неполадки. Это определенная инженерная задача, которую мы решили. Нам пришлось обрабатывать отдельно видео и звук, аудиодорожки мы синхронизировали со всеми видео.
Прежде всего, "интерактивный оркестр" будет интересен музыкантам. Я, например, на полу-профессиональном уровне занимаюсь музыкой. Если бы мне разрешили ходить среди оркестра и слушать, кто как играет, то мне было бы очень любопытно. Изначально мы хотели добиться возможности полного "выключения" всех инструментов, кроме одного. Но добиться абсолютной чистоты не получилось, так как мы использовали тот сетап микрофонов, который был в театре, а он естественно не рассчитан на такие задачи, а рассчитан скорее на качественные миксы. Например, арфа на протяжении некоторых произведений что-то играет и играет, а когда на нее кликаешь, тогда она начинает звучать значительно громче и отчетливее - сразу слышно, что там за партии и где она появляется. Это очень здорово. А некоторые духовые инструменты, особенно где они идут секциями по 5 или 6 труб, отдельно не удается выделить. На самом деле, когда кликаешь на музыканта, то слышны все 6 труб, выведенных по отношению к остальным, их не разделить.
Театр предоставил нам все возможности для создания качественного панорамного контента: мы пересаживали музыкантов, чтобы они правильно попадали в кадр, просматривали в реальном времени видео из специального помещения и др. Не секрет, что видеокамеры 360 градусов чувствительны к дистанции до объектов - их нужно позиционировать на определённом расстоянии, чтобы впоследствии качественно “сшить” картинку на монтаже.
Спортивное мероприятие снимали для Федерации Бокса России. Снимали с пяти камер в разных частях ринга: две поставили по углам, две - по сторонам ринга и одна висела сверху. Вот та камера, которая была ближе всего к судьям, записала, как они там шепчутся. Для тех пользователей, кто профессионально занимается боксом, это оказалось приятным открытием - они услышали то, что обычно остается за кадром. Запись делали на 8к, 60 кадров в минуту, по всем стандартам спортивного мероприятия. Им, кстати, требовалось такое видео, чтобы повысить качество судейства. Например, если оперативно посмотреть с нескольких ракурсов на удары, которые наносят боксеры, то можно более точно определить был удар или не был, правильный он или неправильный.
В НИИ скорой помощи им. Н.В. Склифосовского делали многокамерную панорамную видео съемку операции - удаление камней в желчном пузыре. В операционной на момент съемки был хирург и 4 его помощника. Смысл был в том, чтобы посмотреть на операцию глазами каждого участника. Камера крепилась рядом с рабочим местом, чтобы были видны показатели приборов и работа каждого из ассистентов. Очень удивило, что человеческие органы такие разноцветные.
На самом деле впервые эффект перемещения по видео 360 мы применяли еще в 2015 году - в панорамном видео, которое делали для известной рок-группы "Пикник". Тогда мы записывали концерт группы на самостоятельно сделанный сетап из нескольких GoPro. Одну камеру поместили на сцене, другую - в зале, рядом со звукорежиссером. Особого энтузиазма у пользователей это не вызвало: большинство смотрели концерт с той камеры, которая была на сцене рядом со Эдмундом Шклярским. Он практически в нее пел. Кстати, ему этот ролик понравился.
Производство роликов в формате видео 360 существенно дороже обычного видео. В нашем прайс-листе разработка подобного интерактивного решения стоит от 700 тысяч рублей. Основные расходы, прежде всего, идут на оплату труда специалистов. Обычно над роликом на всех этапах задействовано семь человек: менеджер-проекта, оператор-постановщик, инженер (отсматривает материал в реальном времени и корректирует настройки), два монтажера (один сшивает видео, другой создает инфографику, делает цветокоррекцию под видео 360), звукорежиссер и квалифицированный программист-разработчик. В нашем случае был специалист по Unreal Engine 4.0 Владислав Лазарев, который все запрограммировал.
Требуется обрабатывать картинку в 8К, плюс сама техника недешевая: например, комплект из четырех Insta360 Pro 2 нам обошелся в 2,5 млн рублей (на какой год?), включая дополнительное оборудование: скоростные карточки памяти, систему дистанционного контроля и суперемкие powerbank'и. Конкуренция в нашей сфере не столь высока именно из-за этих факторов: необходимости квалифицированных кадров и дорогостоящего оборудования. Создание "интерактивных" роликов и приложений занимает срок от одного месяца до полугода.
Несмотря на то что Youtube и Facebook и другие медиа-платформы давно поддерживают панорамные видео, возможности бесшовной “телепортации” пока там не существует, хотя запрос рынка на это определенно есть. Появление такой возможности - лишь дело времени.