Фильм “без 3D”. Комбинированные съемки в наши дни

Игорь Эйт (Supervisor / Motion Control Dev. / Head of Camera Dept.)
Эндрю Шарапко (Supervisor / Motion Control Dev.)

По сюжету фильма художникам необходимо было найти 30 немецких танков PzKpfw III и PzKpfw IV, но вскоре стало понятно, что нужного количества танков нет, а точнее есть только одна “четверка” в подмосковной Кубинке и совсем
в другой конфигурации.

Убеждение создателей фильма, что компьютерная графика будет выглядеть как компьютерная графика, привело к идее снимать миниатюры танков. К этому моменту студия “Скандинава” уже имела определенные успехи в области комбинированных съемок, поэтому Андрей Шальопа (сценарист, продюсер) и Ким Дружинин (режиссер) обратились к нам.

Именно ролик “Нефть”, реализованный, как экспериментальный поиск подхода к созданию спецэффектов на экране, сыграл решающую роль в принятии решения отдать всю разработку спецэффектов в фильме студии SCANDiNAVA.

Вдохновившись давно забытым опытом комбинированных съемок, пересмотрев фильмы нашего гениального соотечественника комбинатора Павла Клушанцева и практику его зарубежных коллег, мы начали подготовку.

Клушанцев Павел Владимирович. Создатель познавательных фильмов, вызывавших огромный зрительский интерес во всём мире.

Согласно раскадровкам, в фильме планировались сцены в которых актеры взаимодействуют с танком на крупном плане. Были идеи снимать это методом перспективной проекции, но поскольку эти кадры предполагали движение камеры и, как следствие, изменение перспективы танка, стало понятно, что хотя бы один настоящий танк нам нужен.

В данном случае под перспективной проекцией подразумевается технология, при которой, например, маленький танк ставится близко к камере, а люди вдалеке лезут по каркасу и кажется, что они лезут по танку.

Весь “натурный” съемочный период велись нелегкие переговоры с музеем. Были предварительные договоренности, что танк нам дадут, но с таким количеством запретов и ограничений по его эксплуатации, что появились шутки - проще построить свой.

В итоге музей не смог предоставить нам танк, поэтому шутка насчет постройки своего обрела новый смысл и материализовалась. Помогла нам в этом фирма Hemland, занимающаяся производством декораций.

Танк был построен в кратчайшие сроки - чуть ли не за 2 недели с последующей его доводкой прямо на съемочной площадке.

Для всех остальных танков было принято решение построить зеленые «низкополигональные» макеты. Эти модели помогали ориентироваться съемочной группе и актерам, а нам они должны были послужить основным референсом для вставки миниатюр.

Потом был построен тестовый макет, на котором начали проверять работоспособность технологии. Финальная версия получила тираж в два десятка штук.

В итоге мы пришли к пониманию, что нужно построить две разновидности макета - для едущих танков и для статичных. Они отличались только размерами - движущийся был меньше, чтобы при колебаниях танка его габариты не вылезали за габариты будущей миниатюры.

Макеты управлялись изнутри отважной бригадой танкистов. Они настолько полюбили свое дело, что дали каждому танку имя (конечно же была “Зеленая Ярость”), а внутри нарисовали приборные панели.

Бригад было порядка 4-х, у каждой был свой главный “танкист” и 4-5 макетов в ответственности.

У макетов были лыжи из ячеистого поликарбоната, для облегчения их движения.

Следующей задачей, которую предстояло решить - это получение и учет данных о перемещениях танков в кадре. Это нужно для того, чтобы в дальнейшем на их место вставить настоящие. Очевидно, что самые первые данные, которые необходимы - это расстояния от камеры до танков в их
начальной и конечной точках.

Стали думать что делать и первое, что придумали для увеличения дальности замера - ставить прибор на штатив, переключать в режим повышенной чувствительности и пытаться попасть лучем в танк, который на этом расстоянии был размером с точку.

Таких танков в каждой сцене могло быть штук по 10.Сразу стало понятно, что это отнимает слишком многосъемочного времени.

Глобально это не сильно помогло сэкономить время на замеры, т. к. для того, чтобы сделать замер каждого танка, нужно было подойти к нему с флагом, как бы далеко он не стоял. Среднее расстояние от камеры до танка было 150-200 м., танков в сцене было около 10 м., а снега по колено. Экономия времени была не сильной.

Мы продолжили поиски более элегантного решения и им оказалась покупка охотничьего дальномера, который полностью решил наши задачи.

Также еще одним элегантным способом сохранения информации о замерах оказалось использование приложения для телефона, которое позволяло записывать всю необходимую информацию в кадре.

Помимо расстояний мы хотели также получить информацию о траекториях, скорости передвижения, положении в пространстве, и высоте “танков”. В теории всю эту информацию мы могли получить используя GPS-датчики. Было решено попробовать.

Найти нужные датчики оказалось непросто, т. к. подавляющее большинство предложений было разработано для контроля за автомобилями и они не предполагали ежесекундную запись данных о скорости, позиции, высоте, т. к. работали посредством сотовой связи. Минимальный интервал был в районе 15 сек. Даже появлялась мысль использовать телефоны.

Но к счастью были найдены даталоггеры - они каждую секунду записывали нужные данные и сохраняли их внутрь себя.

С таким арсеналом мы и провели этап натурных съемок.

Далее нам было необходимо воссоздать поле боя в миниатюре.

А еще это решало художественную задачу - рытвины от взрывов, закопченная земля, грязь - давали необходимую по задумке фактуру.

Начали эту задачу геодезисты. У них, так же как и у нас, были GPS, с которыми они ходили по полю, делали свои замеры. Их GPS несколько отличались от наших, они были огромные, с небольшим компьютером и стоили раз в 100 дороже наших. Тут нас и посетила первая ласточка беспокойства относительно затеи с нашими GPS, но об этом чуть позже.

Ребята в течении недели ходили и замеряли поле, после чего предоставили художественному цеху его 3D модель. По этой модели была воссоздана миниатюра поля в масштабе 1:16.

Для фильма было куплено порядка 20 моделей радиоуправляемых танков, но чтобы начать блок съемок миниатюр на Ленфильме нам нужно было научить танки ездить по заданной траектории, с заданной скоростью и в нужное
время. Поэтому параллельно с декорированием танков начались работы по их программированию.

Было рассмотрено несколько вариантов управления танками. Начинали с полностью автоматизированной программы, в которую загружались данные с GPS, но данную технологию не успели реализовать в полном объеме. Вообще процесс программирования был достаточно долгим для нас.

Следующим был вариант с прокладыванием по траектории движения танка проволоки, вдоль которой танк с магнитным датчиком на днище передвигался со скоростью взятой с GPS. Этот вариант тоже был исключен, так как было очень проблематично укладывать, крепить, поправлять, маскировать проволоку на каждую сцену. И в целом выглядело странно.

Хотелось создать систему управления танками, которая бы работала без участия оператора, но эта цель не была достигнута. Мы остановились на промежуточном варианте, когда информация о траектории движения и скоростях танков передавалась программисту.

Вся эта технология потребовала серьезной модификации внутренностей танка, которые к началу съемочного периода еле умещались в корпус. Из помех для передвижения танка можно назвать постоянно забивающуюся в гусеницы соль, которая под мощными осветительными приборами со временем превращалась в камень и механически останавливала танк.

Следующей задачей было создание системы выставления миниатюр танков на поле под кадр. Всего было снято более 200 танковых сцен, поэтому к концу съемочного периода у нас накопился огромный массив данных с GPS датчиков и лишь малая часть из него была полезна, т. к. устройства писали информацию задолго до (и после) съемки кадра + монтажные фазы кадров в фильме были намного короче полных дублей.

Этот скрипт делал выборку данных с GPS по таймкоду из монтажа и конвертировал их в формат, подходящий для загрузки на картографические сервисы. Таким образом мы получали картинку куска карты на котором отмечены положения танков и камеры в заданный момент времени.

Для реализации идеи с проектором было принято решение обратиться к специалистам, но предложенное ими решение требовало очень больших затрат, не вписывающихся в наш бюджет. Но к счастью под рукой у нас оказался бытовой проектор.

Мы забрались на третий этаж павильона Ленфильма, установили его там, выключили свет и увидели, что угол его раскрытия с такого расстояния полностью покрывает макет нашего поля. Поняли, что это наш вариант.

Основной принцип калибровки состоял в том, что мы высвечивали на проекторе точки и перемещали их под углы макета и стыки его блоков, в итоге, расставив достаточное количество таких точек мы получили силуэт поля, в который оставалось вписать трехмерную модель поля.

Начали с того, что выставили камеру в 3д сцене на нужное расстояние и высоту, относительно поля. Для этого замерили расстояние и высоту от проектора до поля.

Но чтобы вписать трехмерную модель поля, мало выставить камеру под нужным углом - нужно еще совместить FOV камеры и проектора. Поскольку у нас был бытовой проектор, данных этих мы не нашли и пришлось потратить какое-то время на подбор соотношения матрицы и фокусного расстояния
виртуальной камеры.

Итак, мы вытащили из GPS данные о танках и камере, перенесли их на трехмерную модель поля и спроецировали на наш макет. По проекции были расставлены танки, но когда мы взглянули на монитор плейбэка, на котором полупрозрачно были выведены кадр снятый на поле и картинка с камеры в
павильоне, то увидели, что танки стоят совсем не на своих местах.

Начав расследование происходящего мы поняли, почему GPS полевых геодезистов стоят своих денег. Покупая наши GPS мы знали, что их погрешность находится в районе 2-5 метров. Также мы знали, что в некоторых GPS была неотключаемая функция режима «засыпания», в который они уходили через 15 минут стояния на одном месте и включались при начале
движения. А на деле оказалось, что включались они далеко не сразу после начала движения. В плохую погоду, снег и туман или же когда GPS, установленная на камеру, была сверху перекрыта осветительными “флагами” сигнал попросту терялся или давал совершенно рандомные координаты. Тому
подтверждением были наши замеры, которые показывали совсем не те дистанции.

Так мы поняли, что владея только этой информацией мы мало что сможем сделать. Порядок съемки сцен был распределен от простых статичных к сложным, поэтому у нас оставалось время как следует натаскаться к началу “хардкора”.

С замерами тоже все было не так гладко, так как они производились перед началом движения танков и после их остановки, а съемка миниатюр велась на намного меньшую фазу движения. Также замеры могли быть сделаны на репетиции кадра, а не перед съемкой дублей или могли быть сделаны для того дубля, который в итоге не вошел в монтаж.

Мы поняли, что не можем доверять данным с GPS и решили использовать их только в качестве общего ориентира. Чтобы вытащить достаточное количество информации из сцен, мы прибегнули к 3д-трекингу с восстановлением всего происходящего в трехмерном пространстве, также в нашем случае было крайне важно соблюдать масштаб сцены, для правильного соотношения размеров реального поля и миниатюры. А в случае, если замеры отсутствовали, либо танк находился в промежуточной фазе движения, мы могли выставить правильный масштаб сцены импортируя в нее 3D модель зеленого танка оригинальных размеров и подгоняя под него всю сцену.

Таким образом мы смогли полностью восстановить модель происходящего и, используя данные замеров и GPS в качестве ориентира, понять, где камера с танками должны быть расположены на макете поля.

Теперь оставалось “всего-лишь” скомпенсировать разницу камер и оптики, используемых на поле и на Ленфильме. На поле все снималось на камеру ARRI Alexa и оптику Lumina, а в павильоне была камера RED Epic с оптикой Ultra Prime. Это было обусловлено решением оператора. Более того, разрешение павильонных кадров очень часто варьировалось, а следовательно изменялся FOV (угол обзора камеры) при фиксированном фокусном расстоянии.

Поскольку мы выводили оригинальную картинку на плейбэк, подстраивая под нее павильонную камеру, нам было важно, чтобы эта картинка выглядела точно так, как если бы она была снята с использованием камеры и оптики, находящимися в павильоне.

Метод для вычисления компенсации камер был следующим: Несмотря на то, что картинки с разных камер имеют различное разрешение, на плейбэке они увеличивались под его ширину. После этого менялся размер картинки с одной из камер так, чтобы объекты в кадре были одного размера. Для каждого объектива и каждого разрешения (рабочий размер сенсора) был высчитан свой коэффициент увеличения картинки.

Вдобавок ко всему в реальной жизни мы сталкиваемся с таким явлением, как оптическое искажение линз объектива, поэтому перед компенсацией картинки с камеры «Б» мы убирали с нее оптические искажения, а после изменения размера изображения накладывали искажения, соответствующие оптике
камеры «А».

По мере того, как простые кадры со статичной камерой стали подходить к концу, мы стали готовиться к следующему этапу - съемке с линейными проездами камеры на программируемой тележке. Для наших задач телега имела несколько ограничений, таких, как постоянная скорость и невозможность старта с заданным её значением, из-за чего приходилось запускать танки не с самого начала, а с того момента, как скорость была
набрана. Так появилось чудесное инженерное изобретение под названием SyncHroBox.

Также изначально была неизвестна единица измерения скорости тележки, поэтому мы проложили вдоль рельс рулетку, направили на нее камеру и сняли несколько проездов на разных скоростях. Позже мы могли отсмотреть отснятые футажи и определить, какое расстояние она проезжала по линейке за определенное количество времени.

К моменту окончания натурных съемок было очевидно, что нам понадобится система моушен-контроля.

В ходе павильонных съемок её поиск все еще продолжался. Ближайшие варианты, которые были найдены, стоили нереальных по меркам нашего бюджета денег и мы уже было задумались о создании какого-то своего устройства, позволяющего решить наши задачи.

Но очень неожиданно в нашей жизни появились ребята из ЦНИИ РТК, у которых как раз был промышленный манипулятор, подходящий нашим задачам.

Она используется в конвейерных линиях при производстве автомобилей, поездов, игре в теннис и спасении ситуаций.

Благодаря неистовому программисту из ЦНИИ РТК и его напарнику, специально для проекта была написана управляющая программа, которая принимала унифицированные данные с 3д трекинга камеры и раскладывала их по осям «Куки».

Особенностью работы с моушен-контролем в фильме стала обратная последовательность его применения. В большинстве случаев системе моушен-контроля задается траектория движения камеры и только потом, при необходимости, данные о ней экспортируются или же по отснятому материалу делается 3D трекинг. В нашем случае задачей для моушен-контроля было повторение траектории движения камеры оператора на полевых съемках. Более того, все это нужно было сделать в масштабе 1:16 и в скорости 4х, что во много раз увеличивает требования к точности.

В повседневной жизни под понятием «готовый трекинг» подразумевается, что трекеры просто хорошо сидят на объектах с минимальной ошибкой солва. В нашем случае выставление правильных масштабов сцены стало критично
важным для получения хорошего результата, так как расстояния, пройденные камерой по осям, передавались Куке.

Для правильного выставления камеры в масштабе 1/16 также нужно было понять, где в камере находится точка схождения (конвергенции).

На расстоянии 16 метров от камеры был установлен штатив с наклеенными маркерами, расстояние между которыми было 3.2 метров, а в нулевой точке была закреплена на штативе 20 см трубочка. Задачей было отодвинуть камеру на такое расстояние, чтобы трубочка и маркеры стали одной высоты в кадре. После этого достаточно было определить точку в камере, которая располагалась бы относительно маленькой трубочки на расстоянии в 16 раз меньшем, чем расстояние от маленькой трубочки до большого штатива, т. е. 1 метр.

Предположительно этой точкой и была точка конвергенции. Минус был в том, что невозможно было держать в фокусе одновременно ближний и дальний объект, поэтому при переводе фокуса, точка «К» так же меняла свое положение.

На данном этапе нам стало интересно, что в 3D программах является точкой камеры. Оттречив снятый тест и выставив все масштабы мы могли сравнить положение реальной камеры и камеры виртуальной. Мы делали замеры от сенсора, в результате точка виртуальной камеры оказалась дальше от
сенсора в сторону от камеры. Проведя этот тест мы убедились, что сенсор не является нулевой точкой камеры, что подтвердило наше предположение.

Также конструктивная особенность Куки и её некоторое ограничение по осям вращения потребовали от нас совместно с операторской группой разработать универсальный переходник, который бы позволял вращать камеру как в вертикальных, так и в горизонтальных плоскостях вокруг точки конвергенции.

Также, чтобы минимизировать тряску камеры, закрепленной на руке, для «куки» было залито бетонное основание, весом около 80 кг.

Одним из финальных шотов стала сцена, в которой рабочего диапазона руки нехватало, поэтому было принято решение снимать кадр в 2 этапа, разделив траекторию на 2 части.

Сначала была снята первая часть после чего мы с помощью лазерных приборов зафиксировали точку положения камеры, затем передвинули «Куку» в новую точку, выставили камеру в прежнее положение с учетом захлеста, и досняли вторую часть кадра. Наши композеры до сих пор нас за это вспоминают.

Мы прошли очень большой технический период, и приобрели как много опыта, так и шишек, без которых, откровенно говоря, сложно выйти на совершенно новый уровень идей и решения нестандартных задач.