Голографический вьюпорт.
Пока мы тут циклимся на fps, 4K, времени отклика и рассматриваем пиксели под микроскопом, ребята из VOXON пилят вольюметрические (объемные) дисплеи.
Сама идея не нова, но остроты тут добавляет тот факт, что они написали простой плагин для Blender-а, который на лету перехватывает меш из вьюпорта и посылает его на нужный IP-адрес, где драйвер дисплея конвертит его в Volumetric draw commands. И отрисовывает его в реальном 3Д-пространстве. В реальном времени. Без заранее загруженных данных и вот этого всего.
Получается демонически и напоминает все эти смешные фантастические фильмы, где главного героя собирают по кускам на основе данных с флешки.
Маленький локальный реалтаймовый киберпанк.

Про вытаскивание глубины из одной картинки я уже писал несколько раз. Но ребята из Facebook AI в очередной раз удивляют.
Похоже они залезли в картинку "еще глубже" и способны оставаться в ней "еще дольше".
Они достают оттуда столько информации, что это позволяет им достраивать 3Д, которое было вокруг в момент создания картинки.
Выглядит очень круто.
https://worldsheet.github.io/
А когда узнаешь, что все это category-agnostic, end-to-end trainable without using any 3D supervision - то есть не привязано к определенному классу изображений (типа котиков и еды), то и вовсе становится не по себе - ИИ явно что-то знает про нас, разглядывая простые плоские картинки.
Как же быстро идет прогресс в этой области. Ибо данных - много. Хвала цифровой и вычислительной фотографии.
Из интересных мыслей и применений:
Концепты и наброски сразу могут начать жить трехмерной жизнью на экране, пусть ограниченной, но дающей ощущение будущего пространства. Без вот этого вот всего - замоделить, затекстурить, запревизить по-быстрому. Гляньте видео - там не только фото, но и рисунки.
Ну и это отчаянно хорошо бьется с моими визионерскими эскападами на закрытии Ивента 2020 про "snapchap driven pipeline", когда по одной фотке или видео с телефона порождается и модель (в 3Д), и анимация, и мокап, и рендер. Заставляющий зрителей переживать.
Facebook и Snapchat - реальные драйверы прогресса в этой области. (И тут традиционные DCC вопрошают из последнего плацкартного вагона: "а хто ето?"...)

Это просто прекрасно! (ну, за подтанцовки!)
Причем, когда я смотрел, в какой-то момент случился приступ профдеформации - мозг шепнул: "ну а чо, мокапчик накинули и вперед".
И тут вспоминаем, что эта ацкитяжелая дурь, пляшет на своих тоненьких ножках, держит равновесие, попадает в такт, кружится волчком и, еще раз(!) держит идеальное равновесие!
В конце начинается совсем уж артхаускиберпанк с собаками или как их там зовут, на роботоязыке...
А перед глазами бегут сцены из фильмов про будущее (да, опять).
Эх, свезло Хюндаю, они умудрились купить Бостон Динамикс всего за один миллиард долларов.
И все такие, а что так можно было?! Неожиданно дешево...
Поглядите до конца, это просто отлично.
https://youtu.be/fn3KWM1kuAw

Что-то давно не было про Хуавей.
А они, тем временем, уверенно идут своим путем.
Подозрительно напоминащим путь Эппле.
Взяли смартфонный процессор Kirin 990 и запихнули его в ноутбук.
Вструмили 5G - куда ж без него, Хуавей жеж.
Выкинули виндоус-шминдоус и поставили Deepin (это такой гламурный линукс). И обещают в будущем перейти на свою Harmony OS.
Ничего не напоминает?
Ну и мимишное название - Qingyun L410

Идем дальше.

Huawei запускает и настольный компьютер, который работает на ARM-процессоре собственной разработки.
ПК с гламурным названием MateStation B515 оснащен процессором Kunpeng 920, который был разработан HiSilicon и производится TSMC по 7-нм техпроцессу. Чип выполнен на архитектуре ARM, может оснащать 4 или 8 ядрами с максимальной тактовой частотой 2,6 гигагерца.
Ничего не напоминает?

Кстати, в отличие от Apple, в Huawei комплектует свой ARM-десктоп стандартными компонентами, где можно самостоятельно нарастить оперативку и диск.

Эти десктопы в первую очередь пойдут на стол в госучереждения Китая, а это миллионы и миллионы поставок.
Я не берусь сравнивать железки от Ху и Апп - просто обозначаю некие параллели.

В общем, хочется вспомнить сентенцию советских времен "два мира, две системы", однако систем, по ходу, три и более. И это прекрасно. Ибо конкуренция.

Следим, делаем ставки.

А я пойду пока напишу большой пост про процессоры и 2020.

Итоги года в этом году подводить как-то неуместно.
Поэтому поговорим лучше о технологических итогах.
Вот отличная подборка лучших нейронок года по версии @NotBoring_Tech.
Хороший материал, про многие сетки я писал у себя в лентах, но есть и свежачок и даже кое-что любопытное для пост-продакшена.
В общем хорошие ИИ-тоги 2020 в одном месте.
https://vc.ru/ml/192737-rasshifrovka-skrytogo-teksta-i-govoryashchaya-rozetka-luchshie-neyronnye-seti-2020-ogo

Ух ты, интересная и милая штука.
ClipDrop (AR Copy Paste)
Если разобрать по частям, то вроде все знакомое.
Сняли фото телефоном.
Скопировали на десктоп.
Отредактировали, сделали ручками маску.
Вставили в нужное место.

А теперь все это одной кнопкой. В телефоне.
И сразу выглядит футуристично. Захват реальности и вставка ея в нужное место цифрового мира.

Вот она сила упаковки известных технологий в новый компактный продукт.
Ну и без ИИ не обошлось, куда ж без него.
Ссылка: https://clipdrop.co/
Вот тут более подробное видео: https://youtu.be/ogKO58Ay2Z8

И да, есть плагин к фотошопу.

Лучшее новогоднее поздравление!
Всем хорошего настроения и лёгкого отношения к жизни.

Sergey Vasilyev, отдельное спасибо за нейропрезидента! валяюсь до сих пор...

https://youtu.be/Qbx-Thuh57c

Всех с новым годом! Давайте переобучим свои нейросети на все самое позитивное, весёлое и счастливое.
И наш инференс сразу наладится, и новый год заиграет жирными и сочными красками ярких и цветных пикселей.
А ИИ станет лучшим другом человека.

Всего 10 часов понадобилось Tesla, чтобы продать в Китае 100 тысяч электровнедорожников Model Y. Это пятая часть от всех проданных Tesla по всему миру за весь 2020 год:

https://kod.ru/100000-tesla-model-y-in-china/

"В Китае 2 января стартовали официальные продажи среднеразмерного электровнедорожника Tesla Model Y, произведенного на шанхайском заводе компании Илона Маска.

Как сообщает ресурс IT Home, за первые 10 часов Tesla удалось получить заказы на 100 000 электромобилей, что является внушительной цифрой, учитывая, что за весь 2020 год Tesla продала менее 500 тысяч электрокаров всех моделей по всему миру."

Санкции против хуавья, говорите?
Да китайцы купят с потрохами все, что шевелится.
И ещё попросят..
И кто им откажет?

ПроПроцессоры.

2020 годы бомбанул технологическими новостями по всем фронтам. То ли я стал больше читать аналитики и периодики, то ли онлайн спровоцировал внимание (в том числе инвесторов) к IT-сфере в целом, но ощущение такое, что прошедший год принес в два раза больше горячих новостей, чем предыдущие три вместе взятые.
Самое удивительное, что довольно интересная движуха закрутилась в области процессоров - в консервативном технологическом пруду, где давно уже не было не то, чтобы цунами, а даже серьезных всплесков. Интел, АМД. Поколение Х. Поколение У.

И тут все как с цепи сорвались.

Громче всех, конечно, бахнула Эппле, со своим ARM М1. Новая архитектура, уход от Интел. Потрясающая экономичность по потреблению. И такая же производительность в пересчете на потребление. В общем новость года. А интернет уже полнится новостями о будущих поколениях M1 и даже о новой графике от Эппле.

И тут Микрософт, которая, к слову сказать, уже давно тихо-мирно имела работающую Windows на ARM-процессорах (но довольно вяленько, в основном на Surface-ах), увидала, как ловко крутится Винда на новых Маках (пуcть даже в режиме эмуляции x64) и опомнилась!
Microsoft Designing Its Own Chips for Servers, Surface PCs - пишет Блумберг! Ранее Микрософт уже разрабатывала кастомные процессоры — например, чип Snapdragon SQ1 для планшета Surface Pro X совместно с Qualcomm, за которым последовал SQ2. Кастомным чипом Ryzen 3 оснащён ноутбук Surface Laptop 3. Однако сейчас Microsoft впервые работает над ARM-процессорами самостоятельно. И тоже в рамках снижения зависимости от Интел.
https://www.bloomberg.com/news/articles/2020-12-18/microsoft-is-designing-its-own-chips-for-servers-surface-pcs
Интересный поворот.

И тут бах! В декабре новость: AMD rumored to have a prototype Apple M1 - AMD делает свой ARM-процессор как ответочку на M1.
Судя по утечкам с Notebookcheck, AMD работает над созданием своего процессора на базе архитектуры ARM. Для этого ей пришлось вынуть из архива ядро K12, которое компания начала было развивать несколько лет назад, но в итоге притормозила. Говорят, что AMD параллельно развивает две версии нового ARM-процессора: с интегрированной оперативкой и без.
https://www.notebookcheck.net/AMD-rumored-to-have-a-prototype-Apple-M1-competitor-in-the-works.507238.0.html
И все такие - ого!

И тут Хуавейчик, Трампом гонимый, санкциями палимый, подозрительно копирует телодвижения Эппле. Выпускает ноутбуки на собственных ARM-процессорах HiSilicon Kirin. И еще десктопы на чипах Kupeng (тоже ARM). (Тонко, не правда ли: HiSilicon и Apple Silicon)
https://www.notebookcheck.net/Huawei-ARM-based-laptop-key-specs-leaked-Qingyun-L410-with-8-core-HiSilicon-Kirin-990-SoC-suggests-potential-5G-support.512333.0.html

Хотите еще погорячее: Хуавейчик норовит стать первым производителем чипов по 3-нм технологии со своим Kirin 9010. А на хвосте у него висят Самсунг, Эппле, Снапдрагон, которым впрочем, до 3нм еще пилить и пилить.
https://asiatimes.com/2021/01/chip-war-heats-up-with-new-kirin-9010-for-huawei/

И тут мы вспоминаем, что в этом году Nvidia купила, ни много, ни мало, компанию ARM! Все конечно офигели - а что так можно было? Но было поздно!

И хотя никаких утечек о планах Нвидия на последствия этой покупки еще не утекло, мы ждем очередных шокирующих шаблоноразрывательных новостей с этого фронта. Ибо Нвидия в этом году устроила настоящий переполох своим анонсом Ампера и всей линейки 30ХХ. Купив перед этим Меланокс (сетевые решения для датацентров) и вывалив на рынок целый выводок новых технологий обработки видео, звука и, говоря общо, данных, как они есть. Конечно, с помощью ИИ. Так что ждем от них интриги.

И 2021 будет не менее горячим, похоже. Ибо слишком много "А" уже сказано всеми, и придется говорить "Б".
И, похоже, это будут тектонические сдвиги на казалось бы устаканившейся процессорной плите, годами выпекавшей чипы.
Теперь на кухню лезут новые повара. И старым придется шевелиться.

P.S. К вопросу о старых поварах. Если честно, то немного поддостали все эти синтетические тесты. И мы с коллегами из CGF замутили очень простой проектик. Оттестировать новые райзены и интелы на конкретных полевых задачах, а не сферично-вакуумных спеках-шмеках. Симуляция, рендер, композ. Получилось любопытнейше. Но об этом - следующий пост. Ибо время работать, и время отдыхать.

͇Б͇и͇т͇в͇а͇ ͇п͇р͇о͇ц͇е͇с͇с͇о͇р͇о͇в͇ ͇в͇ ͇п͇о͇л͇е͇в͇ы͇х͇ ͇у͇с͇л͇о͇в͇и͇я͇х͇ ͇с͇п͇е͇ц͇э͇ф͇ф͇е͇к͇т͇о͇в͇ ͇д͇л͇я͇ ͇к͇и͇н͇о͇

Или ПроПроцессоры-2

Итак, немного поддостали все эти синтетические тесты. Мы с коллегами из CGF замутили очень простой проект. Тест новых райзенов и интелов на конкретных полевых задачах, а не сферично-вакуумных спеках-шмеках. Симуляция, рендер, композ.

И не на сферках, градиентах или кубиках, а на вполне конкретных сценах из еще не вышедшего на экраны фильма "Конек-горбунок" (премьера 18 февраля).

И не в безликих табличках, а "живьем": запускается задача, наблюдаем за процессом, пишем экран, потом ставим рядышком и смотрим на результат. Который, так сказать, налицо. Точнее намонитор.

И это тот случай, когда слова излишни, просто смотрим.

00:00 - Трейлер фильма "Конек-Горбунок", на сценах из которого были сделаны тесты.
01:16 - Спецификация железа
01:30 - Тесты

https://youtu.be/rqXMw8j4_Do

P.S. Интересно понаблюдать, что выигрыш по скорости довольно сильно отличается в симуляции и в рендере/композе.

Pixar Soul
Нет слов.
В последнее время сценаристов пиксар как-то переклинило на экзистенциальных вопросах и теме смерти. Начиная с Up и заканчивая Coco и Forward. Мне, как фанату Истории Игрушек и Тачек, последнии фильмы стали казаться слишком уж сценарно-вычурными. Игра в бисер сюжетных поворотов.
И тут Soul.
И вроде тоже тема смерти, и вроде тоже не слишком детский сценарий.
Но это запредельно круто.
И вот эта анимация пальцев пианиста в самом начале.
И Нью-Йорк в призме пиксаровской картинки.
И музыка.
И какое-то бесконечное количество тонкой иронии (и самоиронии) над всеми когнитивными искажениями кожаных мешков.
В общем я раздавлен. Это запредельно хорошо.
Буду пересматривать.
Даже букв больше нет.

Пора вернуться в лоно ИИ, а то мы ели-пили всю неделю, а он, бедняга, сидел без данных, похудел, затосковал без внимания и датасетов.
И со скуки слушал Битлз и разродился вот таким шедевром.
Нейроночка от OpenAI под названием Jukebox наслушалась Битлов и записала аж целый альбом.
Там 13 треков
Щас фанатов Битлов, конечно, взорвет от ярости, но послушать любопытно.
Более того, можно даже ухватить элементы новизны в неожиданных коротких фразах.
В общем жду проклятий от меломанов.
https://youtu.be/yZu24pddzwk

Ну и конечно нельзя пройти мимо еще одной бомбы от OpenAI под названием DALL·E
Я,кстати, сразу догадался, что это по мотивам пиксаровского мульта, а поразмыслив, догнал, что сюда присовокупили и Сальвадора. И возрадовался, глянув первую сноску в статье.
В общем это прорыв.
Эта тварь, не только генерит картинки по текстовому описанию (и как!), но и умеет заполнять любые прямоугольные дырки в картинке, сохраняя контексты и "смыслы".
И делает это с каким-то новым, неведомым ранее качеством.
https://openai.com/blog/dall-e/

Короче, пишете сценарий. GPT-3 делает ему усушку и утруску, а потом DALL-E генерит вам сториборды и раскадровки.
Или наговариваете текстом сюжет клипа - вот вам варианты реализации, выбирайте!
ИИ становится явным соучастником генерации нового контента, и как вы с ним будете договариваться про авторские - непонятно, ибо делает он это все лучше.
И совершенно точно становится соавтором (тут адепты "даничонового" должны возвизжать, но да, это больно).
Статью стоит посмотреть хотя бы ради картинок. Тем более что они интерактивные - некоторые слова в описании можно менять.
А еще там есть визуальные IQ-тесты, где ИИ просят предсказать недостающий элемент. Прямо как в тестах из старых журналов и новых фейсбуков. И он, падла, почти не ошибается! Как?
Под капотом 12 миллиардов параметров, натренированных на связях картинка-текст.
И это только начало.
Поглядите статью.
А ниже картинка их твитора, где автор скормил Валли-Далли вот такой текст «капибара в рентгеновских лучах сидит в лесу» https://twitter.com/poolio/status/1346579545357512704?s=21
И получил вот такой результат.
Ну, за Фотошоп?

На поляну виртуального продакшена заходят не просто взрослые мальчики, а слоны и медведи.
Сони поднимает веки и выкатывает свои лед - панели на рынок.
Причём разрабатывали они их вместе с Sony Pictures Entertainment
it features an anti-reflection coating with a matte finish, with an eye toward virtual sets.
Features include the ability to display high dynamic range images, high frame rates up to 120 frames per second and stereoscopic 3D. They are also fanless, for quieter operation

В общем, дисплейный рынок сейчас получит новый буст и в R&D и в конкуренции и в инвестициях. Благодаря виртуальном продакшену.

И это отлично.
https://www.hollywoodreporter.com/behind-screen/sony-unveils-crystal-led-displays-for-virtual-production

Похоже на поляне постпродакшена красным ловить уже нечего. Зелёные за последнее время полностью застолбили поляну. Может в играх там ещё есть какие-то варианты (но пишут, что тоже не очень), но в посте все грустно для красных видеокарт.

Зато весело на процессорной территории.
Тут красные теснят синих. И в играх и в посте.

Пока зелёные не вторглись на эту территорию.

Прям сюжет для новой игры какой-то...

https://www.ixbt.com/news/2021/01/07/radeon-rx-6900-xt-rtx-3060-ti-davinci-resolve.html