А как вам такое?:

Очень интересная работа.
Субвокализация и расшифровка лицевой (челюстной) мышечной активности. И повод подумать. Про картинки в том числе.

"При чтении мы обычно не просто видим слова и понимаем их суть, но и проговариваем их про себя, не издавая при этом никаких звуков. Этот процесс называется субвокализацией. Особенность субвокализации заключается в том, что, хотя мы и не произносим слова вслух, мозг все равно заставляет мышцы голосового тракта двигаться, пускай и намного меньше, чем при обычной вокализованной речи. Инженеры довольно давно научились использовать эти сокращения мыщц и считывать их с помощью различных методов, в основном при помощи электромиографии, которая регистрирует электрическую активность мышц."

Насколько я знаю, в отличие от ЭЭГ, такой подход более простой и "прямой". В сигнале гораздо меньше шума, да и сам сигнал имеет гораздо меньшую размерность и спектр. Ибо это расшифровка "внутренней речи" при чтении с листа.

И тут интересно поразмышлять в разных направлениях.

1. Входной сигнал. А что если показывать не текст, разные картинки? Насколько человек проговаривает мыслеобразы, возникающие в голове? Если нейросеть уже натренирована на текстах, интересно посмотреть, как она озвучит картинки.

2. Просто мысли. Как я уже пару раз писал, я поклонник гипотезы Хомского о том, что язык появился как средство мышления и рефлексии (мутация? foxp2?), а не как средства общения (тут полно других способов типа жестов или просто сигналов). За сим, интересно, как нейросетка будет озвучивать поток мыслей. Тут возможно нужна тренировка испытуемых мыслить "громко" (нейробос?).

3. Тренировка беззвучной озвучки сообщений. Вместо чтения по бумажке - чтение с внутреннего экрана. И тут интересно, как процесс пойдет у визуалов, аудиалов и кинестетиков.

4. Расширяемся до тушки. Вспоминаем про кинезиологию. Корелляты между читаемым (или "думаемым") текстом и напряжением диафрагмы и пр. Озвучка животом, поясницей. Чревовещание reloaded.

5. Выходим на идею приборчика типа "Перестань думать про эту хрень". Причем хрень поименована, а не просто "у тебя стресс, расслабь дыхание". Статистика по хреням. По аналогии, "сколько времени я провел в телефоне" - теперь "сколько времени я думал про всякую (конкретную, какую из) хрень".

6 И да, с чипами удобнее. Но с кожи можно снимать разными способами. От кинезитейпов до новых проводящих тату.

Будете делать стартап, не забудьте дедушку...

https://nplus1.ru/news/2020/11/26/silent-voice

Про компрессию.
Дима Ватолин сделал отличный пост на Хабре, про компрессию данных и графики. Как это обычно случается со всеми его постами, публикация вошла в топ недели и в топ месяца. Ибо по делу, с юмором и очень-очень четко.
https://habr.com/ru/post/525664/

И вообще почитайте посты от 3DVideo(это Дима) на Хабре, у них один из самых высоких рейтингов на ресурсе.

Тут приведу цитату из нашей переписки:
Я:
Ну и интересны твои мысли, как DL может может помочь улучшить компрессию на определенных классах изображений (а может быть и данных).
Типа неуниверсальные алгоритмы...
Определяем тип данных, лезем за нужным алгоритмом...

Дима:
Примерно так оно и будет уже скоро )))
У DL алгоритмов основная проблема пока - нужно много памяти на распаковку + они сравнительно медленные. Так что взлетать они будут с аппаратными акселераторами, которые тоже вполне взлетают (о чем я на этом CG Event как раз расскажу).

И тут хоп, продакт плейсмент. У Дима два серьезных доклада на Ивенте (для взрослых):
Что придет на смену GPU и когда ждать SkyNet?
"Сегодня GPU — это альфа и омега вычислений. И кажется ничто не может этой ситуации изменить, правда? А действительно правда ли это? Интересно, что для нейросетевых вычислений современные GPU подходят не очень хорошо и это уже породило..."
https://cgevent.ru/archives/31693

4D видео: как подвинуть оператора на посте или сколько измерений нужно для счастья?
"как устроено самое обыкновенное четырехмерное видео, какие интересные вещи оно позволяет делать при обработке и какая уйма сложностей пока в его съемке."
https://cgevent.ru/archives/31680

В общем, не упустите шанс пообщаться с Димой. Его нет в ФБ, он фигура мировой величины...

Отдельно из коментов Димы Ватолина на Хабре к предыдущему посту:

Есть такой проект «Effective Video Transcoding», где как суть в том, что можно анализируя небольшую совокупность кадров пережать кусок, причем получив гейн по размеру до 15% в среднеми до 50% в лучших случаях. Как человек, имеющий прямое отношение к разработке этого алгоритма замечу, что как ни странно нейросети пока проигрывают классическим алгоритмам построения модели кодека). Посмотрим, конечно, что дальше будет, останавливаться на достигнутом не планируем.
При этом сегодня нейросети массово уходят внутрь кодеков. В новом AV1, например, который молитвами Google уже в каждом новом смартфоне под Android, внутри десятки небольших сеток на 5-7 слоев, заменивших методы принятия решений предыдущих поколений. Наш аспирант в этот проект код контрибьютил, в итоге сейчас работает в офисе Google в Лондоне.

https://evt.guru/

Крипта от ФБ.
В прошлом году регуляторы уже надавали по сусалам Сукербергу, однако он настырный. Привлек партнеров и снова в бой.

"На первом этапе ассоциация Libra, куда помимо Facebook входят такие компании как, например, Spotify и Uber, выпустят цифровую валюту Libra, привязанную только в американскому доллару. Запуск аналогов, привязанных к евро и другим валютам, а также мультивалютный токен планируется запустить позднее."
https://kod.ru/facebook-libra-coming-soon/

Воу. Метаноды (не путать метадоном!)
Ребята написали мамкин Houdini Engine для полигональных объектов. Универсальный, для всех пакетов(!).
Вот видео:
https://youtu.be/WmBnt3P5cGI
Эти метаноды можно выдирать из сцены, пересылать, накладывать на другую сцену. Все визуально, без программизма.
Но я не могу понять, как они это ловко передают между пакетами. Из Майки в Unreal например?
У них там коннекты во все пакеты?
Выглядит очень круто, и, не побоюсь показаться инстаграмным, мило.
https://medium.com/polygonflow/announcing-polygonflow-f48e9c066f85

Полку новых рендеров прибыло.
Но не совсем.
Isotropix выпустили новый гибридный рендер (CPU+GPU) под названием Angie.
Это солидные олдскульные французы, которые еще в прошлом веке участвовали в разработке TDI Explore, который потом вошел в состав Maya (французский IPR в майя именно оттуда).
Потом часть команды занялась Клариссой - ClarisseFX - мало известный у нас софт - сборщик сцен огромного размера, позволяющий импортировать и быстро рендерить ассеты из разных софтов.
Самое интересно, что когда я говорил с ними на Сигграфах, они гордо делали акцент, что они именно CPU-рендер, и что они могут рендерить сцены совершенно безумного размера, ограниченного только объемом недорогой оперативки. И что никакие ГПУ им не нужны.
И тут бах! Новый гибридный рендер.
На видео - ни слова про использование памяти, хотя там рендерится сцена в пол-триллиона полигонов. Только бенчмарки о том, что на ГПУ все быстрее, а в гибридном режиме (ЦПУ+ГПУ) все вообще летает.
Поддержка OSL, MaterialX и все пироги с дивным французским акцентом.
Любопытно, что в конце звучит риторика типа "секунда рендера на киловатт" и "счета за электричество и рендер". И тут Эппле из-за угла: "а у нас, а у нас.. все скоро будет".
В общем заинтриговали солидные французы. Однако Angie (привет Роллингам) будет доступен(пна) только в составе Клариссы, поэтому пока просто следим и ждем коментов про видеопамять.
Видео тут: https://youtu.be/ZlmRuR5MKmU
На сайте, кроме видео никаких коментов, в гугле тоже.
https://www.isotropix.com/

Какая же атмосферная фотка!

Эдуард Жихарев детектед!

Созвонились с Денис Крылов, у дела TH идут хорошо, хотя в этом году пришлось менять столько всего...
Мы уже обсудили это частично это на стриме в июле.

Но сейчас пришла пора подвести итоги и обновить информацию.
Если вы не в курсе, то Transparent House - это одна из самых успешных Российско-Американских студий в индустрии. Через школу TH прошли десятки лучших CG специалистов в мире. И сложно найти компанию из списка Fortune 100 с которой ребята не работали.

Их история уникальна, начиная с ролика про первый (еще не вышедший) iPad, который они сделали за свои деньги и потом, благодаря ему, получили уйму заказов. И заканчивая тем, что они работают через океан уже 16 лет.
Отчаянно горжусь тем, что знаком с Денисом, Мишей и Юрой. А благодаря Мише, случиласть кника Понимая Майя.

Кроме того, они помогли стольким людям получить рабочие визы. Просто так.

Я знаю, что Денис пишет уникальное выступление, которе как нельзя актуально именно в конце 2020, когда, благодаря удаленке, границы ломаются, работать через океан становится проще (и сложнее), когда открытие компании в штатах уже не мечта, а реальность или необходимость, ну и когда рынок глобализируется...
В общем, если вы про бизнес и графику, это к Денису. https://cgevent.ru/archives/32511

Тут, конечно, хочется изшутиться про котиков и ИИ по полной.
Однако.
Если это хоть на чуть-чуть работает, то это может сильно изменить, например, животноводство.
Итак, один смышленый малый из амазона, занимавшийся Алексой, создал приложение для смартфонов, которое "переводит" кошачье мяуканье на человеческий язык.
Приложение MeowTalk слушает издаваемые животным звуки и пытается распознать(!) их значение.
Оно записывает котские звуки, индексирует их, и специально обученный ИИ все это распознает. Понимание котов будет улучшаться по мере использования приложения.

По словам Санчеса, в будущем разработчики надеются создать умный ошейник для кошек, который сможет мгновенно переводить и озвучивать их мяуканье на понятном человеку языке.

Вопрос работает ли это и как обучали? Точнее, как размечали.

Ибо если работает, то представим такие приложения на свиноферме или в конюшне.
ИИ распознает сигнал "худо мне" или "обожралась,как свинья" и вызывает ветеринара или корректирует пайку.
Ну и тд. "хочу гулять, холодно, голова болит, постирать надо" - а роботы тут как тут.

Чем не киберпанк?

Приложение называется MEOWTALK/AKVELON

Эпик продолжает скупать проекты связанные проекты, связанные с цифровыми людьми, виртуальными персонажами, дигитальными инфлюенсерами (не верю, что я это выговорил) и с вот этим вот всем.
В прошлом году они уже купили компанию 3Lateral, продвигавшую и разрабатывавшую свою концепцию цифровых людей, а потом и Cubic Motion, известную своей технологией лицевой анимации.

Теперь вот дело дошло a real-time animation company Hyprsense, которая делает продукт для захвата лица и реалтаймовой анимации оного. Аватары, персонажи, ивенты, приложения..

Если вспомнить про Face Live Link - приложение для иФона, которое делает похожие вещи, то становится ясен вектор движения. От концертов в Фортнайте и социальных игрищ, до производства анимации и контента радикально более быстрыми способами.

Конструкторы персонажей, монтаж анимации из телефона и библиотек, быстрый рендер и впродакшен!

Я уже наверное задолбал всех про ассетное мышление, но вот оно - фабричный пошив кроссовок против индивидуальных ручных (дорогих) тапочек. Шашечки или бежать?
Инд-пошив никуда не денется, вопрос только в доле рынка для частных обувщиков.
https://www.hyprsense.com/

В блоге DeepMind только что написали, что что они решили проблему сворачивания белка с помощью ИИ под названием Alpha Fold! У них там заявленная точность около 90 Global Distance Test (GDT), что существенно выше, чем все предыдущие (экспериментальные) исследования за 30 лет. В три раза! Если я правильно понял из статьи (я ненастоящий сварщик белков).

AlphaFold предсказывает структуру белка (компьютерным моделированием) с точностью 1.6 ангстрема (ширина атома?).
Сейчас, наверное, начнется большая дискуссия про это, но нобелевские лауреаты уже пишут про это следующее:
"Эта вычислительная работа представляет собой ошеломляющий прогресс в решении проблемы сворачивания белков, грандиозной задаче биологии 50-летней давности. Это произошло на десятилетия раньше, чем предсказывали многие специалисты в этой области. Будет интересно увидеть, как это коренным образом изменит биологические исследования."

Оттуда же:
"AlphaFold - это уникальное решение, позволяющее предсказывать белковые структуры с невероятной скоростью и точностью. Этот скачок вперед демонстрирует, как вычислительные методы могут трансформировать исследования в биологии и обещают ускорить процесс открытия лекарств."

https://deepmind.com/blog/article/alphafold-a-solution-to-a-50-year-old-grand-challenge-in-biology

Про гнущийся ноутбук ThinkPad X1 Fold я уже писал, там идея понятная и как-то инженерно реализуемая.
А вот тут уже "тянущийся" экран!
Это тот случай, когда растягивание окошка приобретает вполне себе реальный физический смысл.
За которым вылезает масса вопросов.
Аспект теперь можно писать: типа 16 к типа поменьше.
Квадратные пиксели?
Гутаперчевые чехлы?
UI/UX-серы щас содрогнулись - пойди туда, не знаю куда, нарисуй то, незнамо пока что.
Защита экрана?
Порванные карманы?

И тут можно твистануть в новость о том, что Микрософт собирается поддерживать Андроидные приложения на Винде (но не наоборот) - и это более менее понятно. Фиксированное окошко. Плюс-минус аспект.
А Эппле хочет единых приложений для IOS и MаcOS. И вот тут вот дизайнеры немного охренеют. Тянущиеся окна на ипадах или жестовое управление на ноутах. Понятно, что будут паллиативы, но парадигмы разные и куда они сойдутся - будет очень интересно.

Ну и представляем себе - новый макбук эйр (или леново легион, или хуавей мате, вотэвер) - экран тянется до полутора метров!

Или, эй, поддержка, я намотал свой телефон на карандаш - почему я не вижу видео 360?

Беглый гуглинг привел на Оппо:
https://www.extremetech.com/mobile/317443-oppo-shows-off-concept-phone-with-stretchable-oled-screen
Вроде не фейк.

Говорят про 122 патента: Oppo says it has applied for 122 patents for the Oppo X 2021, and 12 of them are just for motorized scroll mechanism.

А вот тут про остальных и про будущий кибепанк:
https://spectrum.ieee.org/consumer-electronics/portable-devices/from-foldable-phones-to-stretchy-screens

А вот еще одно серьезное применение дипфейков в постпродакшене.
В этот раз в рекламе Сбербанка.
Сделано серьезно, с размахом, видно, что не на коленке.
Я даже знаю, как и чем это делали, но сказать пока не могу.
Но точно могу сказать, что этот кейс будет на следующей неделе на Ивенте. В подробностях и деталях.
Сейчас конечно прибегут повелители недокомпоженных блох и будут искать их по всем щелям, но время идет и дипфейки становятся все лучше и лучше. Причем совершенствуются они побыстрее, чем в свое время 2Д и 3Д вместе взятое. И если сегодня уже Сбер использует в своей рекламе дипфейки, то куда они, пардон, залезут через год?
https://youtu.be/TDl_7-dHg3A
Всем просмотра!

Школа инфлюенсеров(!) в Китае. Тут я хотел что-то сказать, но слова бессмысленны что ли, на фоне этого пиршества будущих видео и картинок. Вымирающие текстовые динозавры тупо ведут свои олдскульные ленты в фейсбуке. А из-за угла выползают цифровые инфлюенсеры, которых генерят GAN-ы в любых цветах и размерах...

Давно ничего не было про Фортнайт и про будущее шоу-бизнеса.
Про живые концерты - с которыми щас как-то неловко получилось. И про альтернативы.
В мае Тревис Скотт сделал концерт в Фортнайте (за ним подтянулись и другие, даже Нолан с премьерой трейлера Тенета)
Угадайте, сколько он заработал там?
Вот на этой вот "школоте", которую принято считать аудиторией Фортнайта.
20 миллионов.
А теперь вопрос - сколько он зарабатывал на обычных концертах?
Ответ: 1-2 миллиона.
Еще вопросы есть?
Я вот тут немного охренел от количества выступлений по виртуальному продакшену, которое собирается. Видать ребята что-то знают...
https://www.forbes.com/sites/abrambrown/2020/11/30/how-hip-hop-superstar-travis-scott-has-become-corporate-americas-brand-whisperer/