Метаверсище и ИИще
53.5K subscribers
6.77K photos
5.77K videos
50 files
7.95K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
Forwarded from Denis Sexy IT 🤖
Снова художники на Новом Арбате под угрозой – вышла очередная нейронка которая пытается сделать карикатуру по фото которое вы ей даете.

Работает невыносимо медленно и на основе StyleGan2, но я все же смог запустить и поиграться.

Вот тут код StyleCariGAN, а тут я сделал колаб и можете сами поиграться (но я ленивый и пути к картинками самим прописывать придется).
Ну, за тренеров! Точнее, за их пламенные речи.

Здесь все настолько хорошо, что грех не процитировать жирные куски.

"Компания SportsBettingDime в партнерстве с OpenAI работает над спортивным проектом с привлечением технологий искусственного интеллекта. Цель проекта — создание цифрового спортивного тренера, который способен мотивировать команду или же давать полезные советы, которые помогают вырвать победу у противника. В перспективе наработки проекта планируется использовать для бизнеса.

Основная задача — создание работающих спортивных спичей, то есть мотивирующих речей, с которыми тренер обращается к команде. В голливудских фильмах часто показывают моменты, когда команда-лузер после вдохновляющего разговора с тренером внезапно выигрывает. В реальной жизни такие ситуации — редкость, но все же вдохновляющие спичи от тренера действительно работают.

Для формирования цифрового тренера команда собрала речи тренеров разных лет и научила ИИ создавать на их основе собственные спичи. Кроме того, в процессе игры ИИ дает советы, которые также базируются на предыдущем опыте — советах успешных тренеров спортивных команд, которые давались в схожей ситуации. После того, как модель была сформирована и протестирована, разработчики попросили болельщиков оценить как выступления команд, так и речи. Мотивационные спичи болельщики оценили достаточно высоко.

Так, по 10-балльной шкале те же фаны оценили (средняя оценка по результатам опроса) в 6,82 и 6,47 баллов рейтинга. Спичи, которые были составлены и произнесены людьми, получили меньшие оценки.

Зачем все это?

Исследователи планируют создать систему, которая может быть использована в бизнесе, а не спорте. Спорт — просто быстрый способ проверить то, что получилось в итоге. Если ИИ-платформа сможет взять на себя часть работы топ-менеджеров, то может выиграть вся компании, при условии, конечно, что все сделано правильно.

В теории, ИИ сможет научиться определять оптимальную бизнес-стратегию для различных условий и помогать руководству развивать компанию.

Представители бизнеса могут придумать немало способов решения одной и той же бизнес-задачи. Но зачастую руководство тратит на поиск решения не самых масштабных задач много времени, которое можно было бы использовать для формирования глобальной стратегии развития. ИИ может в этом случае прийти на помощь, фактически, в скором времени любой управленец сможет заполучить личного цифрового ассистента, который окажет посильную помощь в решении самых разных задач."

И за консультантов?

Исходник:
https://habr.com/ru/company/neuronet/blog/578756/
This media is not supported in your browser
VIEW IN TELEGRAM
Свежий жирномясый гайд по мобильной фотограмметрии от New York Times.
Про аппликейшены, камеры, лидары, фокусы, параллаксы, выравнивание, майю, блендер, скетчфаб и пр.

О трех частях.

https://rd.nytimes.com/projects/an-end-to-end-guide-to-photogrammetry-with-mobile-devices
Я забыл выпить за программистов (про графику ниже).

Ибо OpenAI недавно выкатила инструмент Codex: он переводит английский текст в программный код.
Грубо говоря, Codex понимает естественный человеческий язык и может преобразовать его в рабочий исходный код.

Он основан на OpenAI GPT-3 и лучше всего работает с Python, но поддерживает еще много языков, типа JavaScript, Go, Perl, PHP, Ruby, Shell, Swift, TypeScript.
Вы пишете на английском, что требуется от программы, и Codex сам напишет код. Инструмент можно использовать также для перевода между разными языками программирования(!).

А теперь внимание! С учётом того, что Питонг есть в любом 3д-пакете, производство графики становится разговорным жанром..
Сидишь, руководишь, наговариваешь.
А где-то на серверах Амазона в Омниверсе становится красиво!

P.S. Даже кнопки Сделать Красиво не нужно. Можно просто сказать "Сделай красиво!" ->
import maya.cmds as cmds
niceCG = cmds.makeNice(option="Конец глазам")


P.P.S. И тут CLIP плюс xGANs такие: "А как же мы?".
Мир сошел с ума. Xiaomi выпускает игровые ноутбуки. С RTX 3060.
За тыщу баксов.
И это не тощие хромбуки или записные машинки - Экран 144 Гц, Ryzen 7 5800H, полнофункциональная GeForce RTX 3060 и звук DTS: X Ultra за 1080 долларов.

А версия с GeForce RTX 3050 стоит 880 долларов.

И тут Рейзор, хватаясь за сердце: "А чо так можно вообще?!"

HP: "Верните Трампа!"

DELL: "С Alienware нехорошо получилось..."

Lenovo: "Я буду жаловаться в компартию!"

RoverBook: "Все тлен..."

Кто тут спрашивал про мобильные машинки для графики с RTX 30XX?? (в два раза дешевле айфона)

Подробнее:
https://www.ixbt.com/news/2021/09/22/144-ryzen-7-5800h-geforce-rtx-3060-dts-x-ultra-1080-redmi-g-2021.html
This media is not supported in your browser
VIEW IN TELEGRAM
🚁 360 FPV дрон летает в метро

15 лет назад такое можно было увидеть только в высокобюджетных фильмах
Ну что, поспродакшен, какой бюджет у ролика?

Цитирую: "позвал друга с 360 камерой, коптером и вот что получилось".

Снимали 4 дня, ловили моменты, когда мало людей. Репетировали 2 дня.

Модель дрона называется Бамблби и на ней стоит на небольшом выносе от гоупро камера INSTA 360 ONE R.

Больше задронства тут:
https://www.instagram.com/emil_haziev/

Автор тут:
https://www.instagram.com/parh0/
Интересная статья о том, что Нвидия будет потихоньку выдавливать x86 из серверного сегмента со своими ARM процессорами.
По дороге досталось еппловскому A15.

"NVIDIA: ARM Chips Can Almost Beat x86 Processors, A100 GPU 104x Faster Than CPUs" https://wccftech.com/nvidia-arm-chips-can-almost-beat-x86-processors-a100-gpu-104x-faster-than-cpus/
Helios: реалтайм постпродакшен движок? ILM vs Epic?

Все уже наверное насмотрелись мейкингофов Мандалорца-2. Вот вам еще один. Опять жирный, залитый деньгами и ресурсами, уничтожающий остатки надежды "догнать и перегнать Пиксар". Но дело не безнадежности.

https://www.ilm.com/the-special-visual-effects-of-the-mandalorian-season-2/

Уже с марта в сети поговаривают по каком-то реалтайм движке от ILM под названием Helios:
ILM’s state-of-the-art real-time cinema render engine called, Helios. The high-resolution, high-fidelity engine was used for all final pixel rendering displayed on the LED screens and offers unmatched performance for the types of complex scenes prevalent in today’s episodic and feature film production.

Во втором сезоне ИЛМ переползли на него, вероломно побросав UE4.

Если кто-то знает подробности, пишите. Ниже я насобирал некоторое количество информации.

UE4 пользовали только на препродакшене и концептинге в сезоне 2: One of the more interesting facts is that they also revealed they moved away from using Unreal Engine when working on season two. ILM developed Helios, the team's own real-time render engine which was used for all StageCraft rendering in the Volume. Unreal was used for development work in the Virtual Art Department, not for final-pixel work and in-camera capture.

Далее, еще в 2019 году Variety писала что движок зиждется на "пиксаровской технологии": ILM has a proprietary real-time engine dubbed Helios, based on technology developed at Pixar.
https://variety.com/2019/biz/features/video-game-engines-visual-effects-real-time-1203214992/
Рендерман под капотом? XPU?

FXGuide пишет про выход камеры за пределы Объема:
https://www.fxguide.com/fxfeatured/mandalorian-season-2-virtual-production-innovations/
А также про концепцию, похожую на Омниверс: The final content can be created in Unreal, Houdini, 3DS Max or any number of other DCC packages, and then, for the shoot days, all of it gets seamlessly read into ILM’s Helios real-time renderer for accurate display on the LED walls. Collaboration is central to the StageCraft ILM pipeline.

Engadget нахваливает Хелиос, как расширяющий сознание и возможности:
https://www.engadget.com/the-mandalorian-season-two-stagecraft-2-0-225548912.html
Helios, the in-house rendering engine ILM built to power the volume. With season two, the tool gave the production team even more control over the set, allowing them to redress it based on what they saw through the camera.

Интересно, что еще лет семь назад мы спорили на Ивентах, кто кого сожрет: игровые движки скушают трехмерки, имплементировав функционал, или трехмерки превратят свои вьюпорты в игровые движки.

Похоже территория пока остается незанятой. Играм - игровое, посту - трехмерное, а вот посередине есть ниша для Хелиоса, Омниверса и и будущих CG-Метаверсов, скрещивающих реальный мир(съемки) и мир виртуальный(эффекты) [эк сказанул].

В общем, если есть инсайдеры, пишите про Хелиос, что знаете...
Я вот часто распинаюсь, что по вашему FaceID можно рассказать про вас массу интересного, а вот смышленые ребята не бухтят, а мешки ворочают.
Глаза - зеркало души, сказали они и ну пилить стартап, который читает мобилкой(!) ваши глаза и говорит, насколько вы забухали, пыхнули, закинулись, ну и так далее.
Подается все это максимально аккуратно и политкорректно - типа мы вам глянем в глазки и скажем, садиться вам за руль или вызвать Убер (тут Убер такой, а можно подкрутить параметры?!).
Ага, конечно.
Читаем ниже: Место работы - это логический следующий шаг. Правоохранительные органы также в списке. Упс.

В общем это продолжение гонки за доступ к мозгам и кишкам кожаного мешка. Кто-то идет через нейроинтерфейсы, кто-то - через браслеты, кто-то просто заглядывает в глаза и сливает это ИИ. ИИ лучше знает.

Ребята уже подняли нехило денег. Ибо перспективы - самые радужные. Радужка и зрачок - наше все. 142 455 долларов.

"Ваши глаза отлично говорят о том, что происходит в вашем теле. Они могут сказать, есть ли у вас в крови кофеин, в зависимости от того, как они реагирует на свет. Если это слишком быстро, это какой-то стимулятор. Если это слишком медленно, это какой-то депрессант."

https://techcrunch.com/2021/09/21/eyegage-is-building-a-database-of-eye-scans-for-drug-testing/

И тут ТикТок, с локтя убирая Убер: "Ээ, я можно мне вот это здесь и сейчас!!!". Я хочу им всем посмотреть в глаза прямо из камеры, пока они смотрят меня! Кчорту бухло, видосы решают, как порадовать кожаного мешка.

Короче, маски не спасают, пацаны.
This media is not supported in your browser
VIEW IN TELEGRAM
К вопросу о фотореализьме.

Пока вы там сходите с ума по солверам, симуляциям, флюидам, худиням и эмбергенам, ламинарное течение можно просто замоделить.

Один раз.

Н - Насмотренность.

Всё ещё хотите реализьма?
Forwarded from PHYGITAL BUSINESS
This media is not supported in your browser
VIEW IN TELEGRAM
Snoop Dogg Metaverse
Снуп заходит по-крупному в Metaverse совместно с Sandbox: тут и трек, и VIP Концерты, и коллекции NFT аватаров и предметов, и строительство своих особняков) гэнгста парадайз в общем
This media is not supported in your browser
VIEW IN TELEGRAM
За последний месяц ИИ активно зашел в ПикселАрт. Много красивых картинок на базе vqgan+clip.
В Твитторе обнаружился вот такой товарищ, которые делает еще и анимации, выходящие за рамки ПикселАрта. Там классная работа с глубиной и радикально меньше артефактов.
Мне особенно нравится Purple Rain (было бы круто сделать клип на песню Принса).
Гляньте в его твиттор и ютуб, там всякое разное красивое.
https://twitter.com/hvnslstangel
https://www.youtube.com/c/HeavensLastAngel/videos

А еще если вам нужные красивые открывающие титры для фильма про микродозинг, то почему бы и нет.
К Девяти Незнакомцам идеально бы подошло.
Forwarded from CGIT_Vines (Marvin Heemeyer)
Довольно интересный движ в последнее время с нейронным рендерингом. Очевидно, мы в той или иной мере придём к этому итерациями, с тестами на бэкграундах, мидграундах, а потом и лицах игровых персонажей.

Цимес такого подхода заключается в том, что вообще не важно, насколько сложна сцена по шейдерам, количеству полигонов или сложности и количеству источников света. Главное - насколько хорошо обучена сеть и как быстро выполняется один проход вычислений. И это открывает огромное неизведанное поле для изучения нейронного типа рендеринга для получения реалистичных результатов изображения.

Неплохо было бы отдать генерацию лиц, эмоций и спича нейронкам и ожидаемо уволить художников по персонажам, оставив только концептеров, и тех в усреднённом количестве.

Но об этом в следующем посте...

https://dtf.ru/hard/878847-sony-interactive-entertainment-izuchaet-neyronnyy-rendering-dlya-real-time
Forwarded from CGIT_Vines (Marvin Heemeyer)
Продолжение...

Собственно, нужен хороший коннектор чтобы соединить две технологии.
И все дружно пойдем на завод!

Реддит
This media is not supported in your browser
VIEW IN TELEGRAM
Прекрасный lab member 001 выложил в своем твитторе анимации генерации "девушек с кошачьими ушками, похожих на андроидов". Да, это вход для Клипа, дальше он сам.
https://twitter.com/i/status/1441145711496679424

Тут некоторым показалось, что все они на одно лицо.

Я же, просматривая анимацию, прям чувствую, как микрооттенки в районе глаз меняют всю историю, стоящую за персонажем. Ибо мозг кожаного мешка отлично додумывает истории на основе неуловимых деталей, а ИИ уже достиг того уровня, когда он может инициировать эти истории в этом самом мозгу.
Ибо кожаные нейросетки годами обучены на различных опытах, случаях, психотравмах и пр.
И стоит на вход подать девушку с ушками, как кожаный инференс начинает генерить истории.