#360 #diary #litvyak #dji

Что сделали по подготовке к съемкам в небе 2.

4. В Москве прошли успешные тесты полета нашего самолета, с нужным нам весом. Это такой же риг, только вместо камер утяжеленные деревянные бруски с идентичным размером и весом.

5. Время полёта 30 минут.
Этот тест был очень важен как на вес, так и на необходимый минимум по времени нахождения в небе. По сути, если бы в риге стояли не болванки, а сами камеры, то можно было бы уже снять первого пробного "карасика".

6. Впереди еще настройка наземной станции, которая позволит нам руководить съемками с земли почти точно также, как это происходит в традиционных съемках кино.

7. Теперь, видимо, команда "мотор!" будет означать не только начало записи звука на площадке =)

Заглянули глазком на будущую "съемочную площадку".

Вот это вот шумное, дергающееся видео, будто из 90-х, вероятно, на сегодня пока самое захватывающее на нашем пути к получению настоящих небес для фильма и является важным технологическим событием.

Ощущения, будто подглядываю за далекой планетой.

Это мониторинг полета самолета по аналоговому каналу. Поэтому такой шум, особенно в самих облаках. Но зато таким образом можно видеть долго и далеко.

Что это вообще? Вроде тут особо ничего такого нет - ну летает и летает, как коптер и что.
А по сути мы тут видим то, за чем охотимся - живое, неповторимое небо, и этих кадров уже достаточно для радости от выбранного пути.

Слева по кадру, на носу самолета закреплен наш риг с болванками.
Следующий шаг - вставить, наконец, туда камеры, полететь сквозь эти облачные красоты и сделать первую пробу съемки полного окружения.

#diary #360 #litvyak #dji

В общем, буду снова писать, так как работа не останавливается, дела делаются. Полезно сейчас и на это обращать своё внимание.
И еще на людей, оказавшихся рядом. Каждый там, где есть в это мгновение и в каждое. Это факт.
И это самая лучшая инвестиция в такую смутную и резкую ситуацию - иметь внутри собственный корень опоры (если не будет своего, его быстро создадут другие).

Спокойно мне - спокойно в моем доме. Спокойно в доме - спокойно у соседей...

Дела на небесных панорамах -

1. Доработали риг. Теперь он оснащён портами для питания камер и нужной конфигурацией.
2. На днях был еще один тест полета, посвященный калибровке самолета-носителя.
3. Приближаемся к большому тесту в небе со съемкой на 6 камер Dji Action2 - итоговый главный тест, который даст материал для дальнейшей проверки технологии композа.


Дела на сортировке облаков -

Пока вручную вносятся описательные данные футажей в таблицу (https://t.me/scandinava/511), параллельно мы с Толей Новиковым (к нам примкнул молодой программист. Спасибо, Толя!) изучаем вопрос автоматизации через алгоритмы машинного обучения.

Для начала и для первого рабочего варианта будет достаточно, чтобы система распозновала облачные футажи и классифицировала их сама по обнаруженным признакам на изображении и разносила теги.

#clouds #philosophy

Немного облачной философии.

Когда я начал заниматься изучением облаков для проекта, события в жизни были относительно ровного характера, и я не придавал шибко значения одной особенности, которая сейчас стала одной из моих "мантр".

У облаков на небе есть две четкие вещи - само небо (фон) и сами облака (слои).
Что здесь особенного, Карл?

Все проще простого.
Небо - это постоянный фон, который никогда не исчезает.
Облака - объекты как слои, которые вечно меняются и всегда приходят и уходят на этом фоне.

Когда начались известные смутные времена, я обратился к этой метафоре с внутренним вопросом - "кто я сейчас и как себя чувствую в это время?".
Я смотрел на монитор, где был открыт кадр неба с кучерявыми облачками.

Ответ пришел сразу же и безапелляционно - в тот момент я чувствовал себя как небо, на котором происходят (разные) события - рождаются и умирают облака разных видов, точно также, как рождаются и умирают мысли в нашем уме (как и объекты и личности), точно также, как начинаются и заканчиваются любые события в бренном мире.
В общем, всё, что может появиться и исчезнуть - это танцующие облака, как актеры-персонажи.
А то, что остается и наблюдает за этим танцем - это "вечное" небо, как сцена.

С моего балкона на 18 этаже, почти за год, я наблюдал много разных "драм" и "конфликтов" в поднебесной, и где они сейчас?
А небо - всегда на месте, по-доброму беcкомпромиссно и молча наблюдает приход и уход актеров со сцены.

Дальше - задача увидеть и воспринять себя одновременно и небом и облаком, но это другая история.

Миру - мир!

(Видео со звуком).

​​#360 #litvyak #diary

Еще на шаг ближе.

Сейчас у нас идет активная фаза тестирования технологии sky360, и прямо сегодня ребята приехали с поля, где успешно завершили третий тест взлетов и посадки самолета (пока без камер). От Ани Шевцовой будет скоро выпуск на ее канале про это.

Надо сказать по правде, все успешные тесты когда-то начинались с неудачных.
Так и у нас - самолет сначала пару раз обязательно утыкался в снег. Если бы стояли камеры - было бы неприятно.
Всего мы провели три базовых теста с самолетом без камер. В каждом тесте что-то обнаруживалось и улучшалось.
В итоге дошли до такой простой, легкой и, вроде бы, надежной конфигурации запуска с резинкой (для мягкого разгона) и парашютом (для мягкой посадки).
Как показали тесты, парашют - для подстраховки, так как для посадки самолета хорошо используется его брюхо.

Итог сегодняшнего полетного дня подвела Аня Шевцова - второй режиссер фильма:
1. Успешный тест технологии взлёта - руки + 1 резинка
2. Успешный тест посадки на парашют
3. Успешный тест посадки без парашюта
4. Успешный тест работы автопилота
5. Следующий тест с камерами.

Немного видео с тестов.
Зажигательно смотреть на задор и радость ребят. Не зря они ночами собирали этого зверя. )
Браво, Миша и Толя!

​​#360 #litvyak #diary

Ну что ж.
Полетали уже два раза с камерами.

Пришлось удовлетворяться не сильно облачной погодой и поэтому самая самая красота небес ждёт нас впереди (сезон облаков, видимо, начался только вчера-сегодня).

Так или иначе, эти все тесты показали много нюансов в ряде вопросов и проблем. Некоторые из них:

1. Включение всех 6 камер происходит с блютуз кнопки, которая активируется с пульта пилота на земле. В первый полет она совсем не сработала. Во второй - сработала на земле, но в небе отвалились две камеры.

2. В прошлый полет было так, что самолет вдруг "отрубился" от контроля пилота. Это критично тем, что он может улететь неизвестно куда, и потеряться.

Эти два пункта гипер важны, поэтому далее ребята будут модернизировать систему и создавать нужные безопасные решения (например мониторинг самолета на карте).
Короче, технически будут постоянные улучшения и доработки.

(на видео захвачен кусочек работы над настройками самолета).

Техническое качество видео или нужный образ и состояние.

Когда мы подошли вплотную к идее с носителем в виде модели самолета, то далее стало ясно, что вес нашего рига с камерами на текущем самолете должен быть не более 500 гр. И чем меньше, тем лучше.
Выбирая новые камеры action 2 из-за подходящей нам легкости и мобильности, заранее было понятно, что на кону может быть качество видео, а конкретно маленький диапазон и глубина цветового спектра.

Так и оказалось, видео имеет 8 бит (и конвертируется прям в камере в h265), и не особо широкий цветовой диапазон. Детали вблизи тоже хочется иметь выше.

Но в конечном результате это все фигня!
Как-то совсем не пугают технические ограничения.
Потому что, по общему состоянию и атмосфере камеры передают как раз то, что и хочется нам видеть в фильме - живую природу неба.

И это самое важное.

#clouds #litvyak #360

Новое видео о делах на официальном канале проекта.

Выкладываю ссылку на недавний официальный ролик нашей команды, где Андрей рассказывает словами про съемки небес. По сути то, что я выше отражал в постах, только подробней и вживую.

Это некий срез наших действий в этом исследовании на текущий момент.

https://youtu.be/rW49dibabuU

А пока готовлю следующие рассказы про другой блок наших разработок (а конкретно, про очередную идею, как снять в огромном количестве настоящие самолеты в фильм и внедрить их в кадр, как если бы это были 3д самолеты).

Рубрика "Хотелки Лосева".

Вот как-то так вижу в будущем генерить визуальные облака для кино (и не только) - https://deepimagination.cc/PoE-GAN/
Скормить базу детальных параметров настоящих облачных состояний и научить правдиво (как в реальности) складывать и смешивать друг с другом разные образы облаков. Вот как в примере от Нвидиа с сочетанием трех инструментов - текстовое описание, сегментация по типам, и скетч кадра.

И вроде все для этого имеется:
- Есть база видео футажей облаков в виде таблицы с описательными ручными данными о каждом (в процессе).
- Есть идейная база и видение маршрута применения.
- Есть нужда в удобном инструменте - независимом источнике облачных и правдивых визуалов основанных на физической реальности.
- Есть код этого инструмента пол ссылке выше от Nvidia (coming soon).
- Нету пока могущего все это скомпоновать и запустить =)

Но, всему свое время.

#hotelki #ai

​​Продолжение "хотелок"...

Еще одна идея с применением нейронок в визуальной области, возникла после первых просмотров материала с экшн камер.
Если приблизить сильно снятое изображение, то возникает легкое разочарование - там почти отсутствуют детали, которые характерны для этого образа. Например, у леса, хочется видеть отдельные деревья (как это сняла бы та же Алекса), а не кашу пикселей.

Глядя многочисленные текущие изобретения алгоритмов на "two papers please" понял, что уже сейчас можно видео с камер обработать алгоритмом, обученным, как бы, усиливать визуальный образ и его значение в кадре.
И не просто изощренно шарпить и чистить (как это делает тот же Topaz AI), а, как бы, “дорисовывать” поверх, с самостоятельно "додуманными" деталями.
Типа мы ей указали (или она узнала) - "О, это зимний лиственный лес... что я там знаю как он выглядит? А, вот так! ... А вот это летний хвойный лес, и его надо в зимний превратить" и на основе снятого материала улучшает/меняет образ. А ручкой рулить интенсивность воздействия. И так по разным образам в кадре. И с разными стилями.

То есть такой инструмент усилитель вкуса (визуала). Очень хотел бы опробовать, если такой уже есть.

С другой стороны - учитывая, что все наши образы в кадре, это части одной большой панорамы, которую мы смотрим целиком и с далека, как того требует задача, то все образы "на своих местах".

Поэтому рейтинг важности данной "хотелки" стремится к 1/2 и просто оставлю это здесь, чтобы было.

#hotelki #ai

​​Как и где мы используем Unreal Engine при создании фильма "Литвяк".

В честь выхода 5 анрила очень бегло расскажу как мы применяем этот движок на проекте.
А применяем (пока 4-й) во всех трех этапах кино-производства.

Даже из супер-краткой детализации каждого этапа может быть виден некий блик роуд мэпа фильма.

1) Unreal в Pre-production (98%)

1. Storyboard - Создание раскадровки каждого кадра всех сцен на Земле. Цель - подготовка к натурным и интерьерным съемкам (правильный свет, композиция, декорации)
2. Animatics - Создание в 3Д всех сцен в Небе. Цель - подготовка к комбинированным съемкам (движение самолетов, камер, солнца, режиссура сцен)
3. PRE-FX - Создание цифровых FX в аниматиках. Цель - формирование тз для эффектов финального качества (в последующем путем практических эффектов или цифровой симуляции)
4. Clouds system - Создание облаков в аниматиках (плагин TrueSky). Цель - поиск настроения и вида облаков в сцене для дальнейшей съемки

2) Unreal в Production (разрабатывается)

5. Построение виртуальной студии с камерой, светом и самолетом на гимбле. Воссоздаем будущую съемку, но в unreal
6. Перенос траекторий из unreal в железо (камера, самолет на гимбле, динамичный свет)
7. Съемка полноразмерных самолетов и масштабных моделей с полным контролем motion Control из Unreal

3) Unreal в Post-Production (планируется)

8. Сборка съемочных слоев - замена 3Д объектов на съемочные слои-плашки со снятыми объектами в текстуре:
- Самолеты (полноразмерные и миниатюры),
- Фоны (облака видео 360),
- Спецэффекты.
9. Доведение до финала элементов, которые решили оставить в 3Д (например самолеты, которые очень далеко).


4) Экспорт всего пирога в композную прогу для финальной сборки

(На схеме - Структура шота в IN (в начале) и в OUT (в конце) одинакова, только отличие в том, что в OUT цифровые элементы и образы заменены на съемочные).

#litvyak #diary #unreal

Всем привет и с праздниками!!!

Не пропал. Посты пишу, набирается много тем.
Пока достаточной активности у меня по Литвяк не было, к сожалению, поэтому вывалился немного, (не снимая с себя ответственности) =)

Буду наверстывать!

Всем добра и мира!

S - Scandinava, естессно!