На канале Oculus показали прототип приложения Spatial для Окулуса с режимом Passthrough, когда видны и реальные коллеги и виртуальные.
Глядя на то, как бодро ребята крутят браузер и читают тексты в виаре, встает вопрос о том, что вообще-то чтение текстов и просмотр видео и картинок несколько разные вещи с точки зрения экрана.
И если для мониторов этот вопрос уже хорошо изучен и разложен по полочкам, то чтение текстов в виаре это пока новая сущность, которая вползает в нашу жизнь вот прям щас.
На реддите народ обсуждает читаемость текстов Виаре. С картинками, как положено.
Счет коментов идет на сотни.
Лидирует HP Reverb G2. А за ним идет некто Cosmos.
https://www.reddit.com/.../j15plf/12_headset_comparison/
Дискуссия расползается по всему Реддиту в новых версиях:
https://www.reddit.com/.../headset_comparison_version_20/
И похоже этот вопрос будет вставать все чаще...

Будущее уже здесь, а кибер-панк уже в доме.
Помните в разных фильмах злые дроны коварно преследуют главного героя, реагируя на каждые его чих.
Когда в домах запОлзали роботы пылесосы, пугая котов и собак, никто ничего не заподозрил.
Теперь в домах и квартирах будут летать дроны.
Они умеют снимать все на камеру и, внимание, могут транслировать видео на смартфон в реальном времени.
Amazon представил дрона-охранника, который летает по дому и снимает всё на камеру. Дрон сам перемещается по дому и передаёт данные на серверы Amazon...

Смотрим предыдущие мои посты про распознавание лиц и разного поведения, складываем это в единую картинку и получаем цифровой двойник этого мира, не только снаружи (улицы, города), но и изнутри (квартиры, дома).

Теперь в инстаграмм можно транслировать свою жизнь без посредников... даже телефон брать в руки не надо...


https://tjournal.ru/tech/216551-amazon-predstavil-drona-ohrannika-kotoryy-letaet-po-domu-i-snimaet-vse-na-kameru-u-smi-voznikli-k-nemu-voprosy

В догонку к дронам вот такой мрачный пост.

Вышла документалка про то, как софт ищет уязвимых людей для привлечения их в церковь или ультраправые организации.
Трейлер тут:
https://youtu.be/96_I-XUCN6Y

Просто процитирую: "финансируемая братьями Кох благотворительная организация поручила компании Cambridge Analytica вместе с компанией Glue создать программную платформу, которая могла бы использоваться церквями для таргетирования и привлечения уязвимых людей. Это люди, которые страдают от зависимости, финансовых затруднений, которые могут бороться с опиоидной зависимостью или могут иметь дело с биполярными расстройствами. И все эти возможности доступны в программном обеспечении, которое было развернуто в церквях. И как только эти люди будут идентифицированы, они смогут нацелить их на социальные сети. И однажды приведенные в церковь, они также могут быть вовлечены в политику ультраправых."
https://www.dw.com/en/us-religious-data-platform-targets-mentally-ill-vulnerable-people/a-55062013

До сих пор мы посмеивались, что телефон нас слушает и ругались, что слишком много таргетированной рекламы.

Помните, что когда вы берете в руки телефон (или просто включаете его, накормленного вашими данными), то таргетированной может быть не только реклама.

А с учетом постоянно растущего потока информации про распознавание лиц, эмоций и поведенческих моделей, такие новости приобретают новые оттенки.

Ну и про Cambridge Analitica вы, конечно, помните. Был скандал, с использованием данных пользователей Фейсбука для изменения их позиций в сторону избрания Трампа и голосования в пользу Брексита.
https://www.dw.com/en/facebooks-cambridge-analytica-data-scandal-what-you-need-to-know/a-43071390

ИИ от Adobe добрался до PDF.
Чтение пдф-ов на мобилках - это то еще удовольствие.
Мелко.
Адобченко натренировал своего Сенсейченко реформатировать пдфы, для того, чтобы их можно было читать на телефоне.
Это теперь называется Liquid Mode.
Я проверил, у меня на Хуавее отсутствует такой режим, не иначе Трамп пострался!
Как у вас?

Кстати, вот прекраснейший заголовок на этут тему (привет Арни): It's powered by a mega-corp AI, it has a Liquid Mode, but it's not a T-1000. It's Adobe's PDF auto-reflow for mobile

В этой статье также говорится о переходе к "интеллектуальной категоризации документов с помощью ИИ. Adobe обещает внедрить «больше технологий Adobe Sensei во все продукты и услуги для работы с документами». Что касается PDF, Liquid Mode - это начало попытки предоставить людям инструменты «для просмотра и извлечения содержимого из PDF-файлов без изменения самого PDF-файла».
https://www.theregister.com/2020/09/24/adobe_liquid_mode_pdf_mobile/

В общем я потратил пару викендов и еще несколько рандомных дней, чтобы погрузиться в дивные эксперименты по установке Линукса на новехонький ноутбук Lenovo Creator со всеми модными пирогами - 2080 Max Q, две видеокарты, RAID из двух NVME SSD и прочими ништяками.


https://telegra.ph/Hozhdenie-za-tri-Linuksa-09-30

Все, что вы хотели узнать про компьютерное зрение.
ИИ обидеть может каждый, а он, ранимый, просто так видит.
И там где ЕИ видит одно говно и палки, ИИ взыскует к розовым пони.

Гибкий ноутбук.
Забавный девайс выпустила Леново. Гибкие телефоны мы уже видели, а вот складывающийся ноутбук вижу впервые. Сдается мне, это пример экспериментального дизайна, когда компания делает продукт просто для того, чтобы показать, что она не боится экспериментов. Мой консервативный ум немного боится такой штуки - кажется что она сломается. Хотя на видео бесстрашно показаны внутренности этого девайса и как он устроен изнутри. Также говорится,что он будет оптимально работать с Windows 10X, которой еще нет в природе.
А мне, на том моменте, где его ставят на подставку вертикальным уголком, представилась картинка, когда берешь из кармана пиджака сложенный гармошкой монитор и хоп, разворачиваешь его в изогнутый экран на 30 дюймов.
В общем для меня это скорее красивая игра ума и прототип будущих девайсов, чем массовый продукт. Но за смелость и кибер-панк - респект.

https://www.theverge.com/2020/9/29/21473735/lenovo-thinkpad-x1-fold-foldable-pc-nano-thinkbook-5g-tiger-lake-intel-evo

Ну что, за дизайнеров Power Point презентаций, не чокаясь?

Несколько постов назад кожаные мешочки люто возмущались творчеством Николая Иронова - хотя я приводил интервью с создателями этого проекта, где они объясняли, что это не про создание логотипов нейросеткой, а про место ИИ в пайплайнах, в том числе и "творческих".

А вот еще более показательный и прагматичный проект.
Создание Power Point презентаций средствами ИИ.
И здесь очень много разумных идей. Не зря проект DeckRobot сходу привлек полтора миллиона долларов от инвесторов.

1. Тут сразу стоит оговориться, что речь идет (как я понял из статьи) в основном о создании корпоративных презентаций, использующихся в рамках коммуникаций внутрии компании. Отчеты, аналитика, прогнозы и пр. Там, где требуется попадание в фирменный стиль, корпоративные гайдлайны и прочие строгие правила.

2. Очень здравая мысль, что офисный служащий ни разу не дизайнер, а его заставляют лезть в этот монструозный Повер Пойнт и ваять там "типадизайн", хотя ему бы, бедолаге, лучше сосредоточится на сути, а не на шашечках. И вот уже мамкин дизайнер, как следует из статьи, тратит около 30-60 минут на разработку нового слайда и 15-30 минут на базовую очистку одного готового слайда. А в среднем пользователи на крупных предприятиях делают более двадцати слайдов в месяц". И вот тут ИИ может пригодиться.

Действительно, когда фирменный стиль уже готов ( а как следует из истории с Ироновым, он может быть не обязательно кожаного происхождения), то адаптацией стиля под разнородные данные может заниматься ИИ, там где требуется нечто большее чем темплейты презентаций или шаблоны таблиц.

Датасеты - прекрасны. Вот стиль, вот презентации, уже сделанные мешками.

И вот тут давайте подумаем, а какие еще есть области, где пользователи вынуждениы заниматься "не своим делом", особенно когда речь идет об "околотворческих" занятиях. И тут у Сенсейченко от Адобченко есть много работы, я, если честно удивлен тем, что Адобе так притормаживает с ИИ-аддонами для фотошопа.

Идем дальше. Обратная связь. Внутри корпораций, наверняка есть данные о том, какие презентации и отчеты заслужили позитивных оценок, а какие - критических. ИИ все учтет. И сделает все так, что глаз будет не оторвать.

Ну и ИИ быстро учится, и от корпоративных презентаций до креативных (технологических, футурологических, аналитических и, главное, ПИТЧЕВЫХ) рукой подать. Скоро ИИ будет генерить презентации, добывающие деньги на его, ИИ, развитие и кормежку. А данные об успешних питчах пойдут на доведение силы презентаций до мозгосносящей..

https://www.forbes.com/sites/frederickdaso/2020/10/01/deckrobot-raises-15-million-to-generate-powerpoint-slides-using-ai/

Кстати, ребята активно хайрят, в Киеве, Нью-Йорке и на удаленку...
https://deckrobot.com/

Рарешение на ношение Дипфейков.

А вот и цензура для дипфейков подоспела.
Ролики с Путиным и Ким Чен Ыном снимают с эфира в шататх, хотя сначала собирались показать их по телевизору.
Я разыскал ролики в интернете. Путин, конечно, не очень, сказывается насмотренность. А вот Ким Чен Ын вполне себе считывается со скидками на азиатскую мимику и незнакомую артикуляцию.

История такая. Все это сняли как "кукольное" шоу. (помните шоу Куклы у нас на телевизоре в нулевых?)
Актеры произнесли речи и имитировали манеры лидеров, а затем CG-художники поменяли лица Путина и Кима.
Видео были размещены в Интернете перед дебатами во вторник вечером и должны были быть опубликованы сразу после мероприятия. Однако, по словам представителей компании, реклама была «запрещена» и что станции не обосновали свое решение.

«Америка, вы обвиняете меня в том, что я вмешиваюсь в вашу демократию, но я не обязан», - говорит Путин. «Вы делаете это сами. Избирательные участки закрываются. Вы не знаете, кому доверять. Вы разделены.

«Есть ниточки, которые мы можем дергать, но не обязаны. Вы тянете их за нас ».

В отдельном видео Ким Чен Ын описывает демократию как «хрупкую вещь ... более хрупкую, чем вы думаете».

«Если выборы не удастся, демократии не будет», - говорит он, прежде чем повторить опасения Путина по поводу голосования.

«Демократии несложно рухнуть. Все, что тебе нужно сделать, это ничего не делать », - добавляет он с ухмылкой на лице.

Сообщение в конце каждого видео гласит: «Эта запись не настоящая, но угроза есть».

В общем потроллили так потроллили!

Но похоже общество не готово ни к таким шутками, ни, тем более к дипфейкам. Более того, очень их боится.
https://www.youtube.com/watch?v=sbFHhpYU15w
https://www.youtube.com/watch?v=ERQlaJ_czHU

Скоро будем получать лицензию на ношение и применение дипфейков?
https://globalnews.ca/news/7368533/deepfake-vladimir-putin-kim-jong-un-ads/

Коллеги, требуется собрать колективное сознательное.
Ответье плиз на один простой вопрос (никаких подводок не делаем, чтобы не влиять на ответ).
А мы сообщим о формате предстоящего CG EVENT 2020 не позже 13 октября.
https://www.surveymonkey.com/r/RHVTMDS

И снова виртуальный продакшен на марше.
В этот раз уже совсем взрослый.
Вот такую новость пригнал Женя из канадского Пиксомондо:

Pixomondo начал строительство одной из первых студий виртуального продакшен в Торонто.
Павильон для VP, строительство которого планируется завершить до конца 2020(!) года, будет самым большой в мире.
И неудивительно. Pixomondo привлекла команду ключевых технологических партнеров, включая Unreal Engine / Epic Games, LED
производителя ROE Visual и, конечно, NVIDIA.
А физическое пространство и другое оборудование будет предоставлено Canada’s leading TV & film equipment rental business, William F. White International.
В общем, скоро будет самый большой павильон для ВП.
Думаю ILM и Вета этого так не оставят!

К вопросу о рендер движках.
Xavier Martín Ramírez насимулил лаву в Гудини, а потом просто втащил ее в Unreal и отрендерил там, внимание, в реальном времени.
На 2080.
Без всяких рендер-ферм, мантр и заклинаний. В реалтайме.
https://vimeo.com/460322886
И пока симуляции держат оборону и остаются бастионом традиционного запустил-подождал-посмотрел, нетерпеливые рендер-артисты уже разбаловались и алчут реалтайма.
Интересно, доколе будут терпеть выходки Унрила разработчики вьюпортов в Майе, Гудини, Синеме? Один Блендер императивно двигает свой ИВИ как вьюпорт+рендер+движок. Остальные делают вид, что ничего не происходит. Ну Синема, правда, прикручивает U-Render, это правда. Ну Bifrost интегрируется с Арнольдом все ловче и быстрее. Но все равно это сильно далеко от реалтайма на ноутбуке.
Доколе?

Ну и нейросетки кстати, подбираются к симуляцциям. В июне постил, но продублирую вот эту работу - уж больно красивый подход - ИИ смотрит на посчитанные в лоб симуляции, а потом предсказывает поведение других симуляций ... в реалтайме. И неплохо предсказывает, судя по видео. Нам ведь не нужна физическая корректность? Нам бы выразительности и похожести.
https://youtu.be/2Bw5f4vYL98

И все опять такие - делают вид, что это где-то на другой планете. А у нас в 3Д все должно быть традиционно и скрепно.

Интересный материал от Гугла.
Мир явно меняется. Трещат старые схемы.
https://m.habr.com/ru/post/521626/
"Но только 8% согласны работать в офисах фулл-тайм, каждый день."

"77% сказали, что не хотят ежедневно находиться в офисе из-за желания достичь лучшего баланса между работой и личной жизнью"

" В недавнем опросе IT-сотрудников из Сан-Франциско оказалось, что две трети из них уехали бы из Долины, если бы знали, что их компании разрешат им работать удаленно."

"Из-за отъезда свежих «удалёнщиков» стоимость аренды за последние полгода уже снизилась на 12,81%. Только за один последний месяц — на 6,79%."

Я, кстати, в прошлом году был в офисе Гугла в ЛА - это, если честно, сказка. Я бы там жил! Даже видео записал: https://youtu.be/dU_EPJTsUlw

Недавно созванивались с Арман Яхин - они тоже на гибридной модели - ходить в офис необязательно.

Интересно, ждут ли Москву перемены, связанные с переходом на удаленку и оттоком населения за МКАД - или привлекательность Москвы до сих пор слишком велика..?

А вот щас владельцам 2080TI стало совсем больно.
Чтобы немного скрасить эту боль Нвидия задерживает выпуск 3070 (по цене 499 долларов) на две недели.
Но потом снова станет больно.
Блендер и Редшифт разошлись не на шутку на 3070.

Без Хуавея (как покупателя) поставщики комплектующих потихоньку взвыли.
Интел тихой сапой получил разрешение поставлять китайцам все что нужно.
А теперь вот Сони и Kioxia получают аналогичную лицензию.
Для Сони Хуавей - это огромный потребитель их сенсоров для камер. А Kioxia - это поставщих флеш-памяти, который громко заявляет, что ограничения США на Huawei могут спровоцировать переизбыток чипов памяти и снижение цен.
Смотрим дальше, как остальные будут выкручиваться.
https://www.reuters.com/article/japan-huawei-idUSKBN26P04U

3D без очков и виар-шлемов.
Непонятно, как они это сделали.
https://tjournal.ru/tech/219340-panel-na-fasade-torgovogo-centra-v-kitae-sozdaet-trehmernyy-effekt-bez-neobhodimosti-v-3d-ochkah

Это, конечно, нецелевая растрата дорогой видео-памяти.
Но которая, наводит на определенные мысли.
Одна смышленая геймерша взяла GeForce RTX 3090 и установила Crysis 3 в память видеокарты, создав там раздел NTFS(!).
Сделать это она смогла, используя программу под названием "VRAM Drive", чтобы создать виртуальный диск 15 ГБ на VRAM RTX 3090 и физически установить на него Crysis 3, оставив 9 ГБ VRAM, оставшихся для Crysis 3 для использования в качестве графической памяти.

Она сообщает, что Crysis 3 загружается очень быстро, а производительность действительно хорошая (на скриншоте 75 FPS). Она запустила Crysis 3 с высокими настройками в 4К, при этом использование VRAM едва достигло отметки в 20 ГБ.

Это остроумно, ибо VRAM - это самое быстрое решение, которое превосходит производительность RAM, поэтому использование видеопамяти в качестве SSD должно обеспечить потрясающее время загрузки для видеоигр. И теоретически можно сделать это с любой видеокартой, если игра помещается в буфер кадра вашей видеокарты.

Ну и это, конечно, мягко говоря, дороговато.
Однако наводит на мысли о том, как могут трансформировать видеокарты в будущем.
Все, что понадобится - это карта и быстрый ssd, который сидит прямо "рядышком" с видеопамятью.
А потом эта парочка объявляет независимость от CPU и RAM и мы получаем... консоль нового поколения?
Или GPGPU нового поколения?
Пойду снова читать про RTX I/O..


https://www.ixbt.com/news/2020/10/04/geforce-rtx-3090-crysis-3-ntfs.html

Вчера все воскричали про новую штуку для видео-конференций от Нвидия под названием Maxine.

Воскричу и я, ибо новостные ленты как-то тускло перечислили основные фичи и совершенно не зацепились за одну фантастическую деталь.

Для начала скажу, что это не альтернатива Зуму и конкурентам оного, это скорее сервис, который могут использовать разработчики видеоконференций, чтобы встроить к себе все эти крутиые ИИ-фишки от Нвидия: супер-резолюшен, коррекцию направления взгляда (читай читинг), подавление шума(уже обкатанное на RTX Voice) и даже (композеры, внимание!) - face relighting.

Также оттуда торчит API под названием Jarvis, о котором мы толковали 14 мая, когда Нвидия выкатила архитектуру Ампер и много примочек к ней. Джарвис обеспечивает все это безобразие такими штуками как модуль переводчика, субтитры, виртуальными помощники(!) и (о, боги!) анимированные аватары.

К аватарам еще вернемся, а теперь про ту самую деталь.
Все пишут про новый алгоритм, позволяющий, по словам его Нвидия, снизить требования приложений к пропускной способности сети в десять(!) раз.

Работает он на основе GAN(!) - вместо того, чтобы гнать по сети весь видеопоток, Maxine анализирует лицо участника конференции, выделяет, скажем так, "базовую морду", а потом передает по сети только (расшифрованную нейросетью) "мимику", которая накладывается на базовую морду уже на другом конце видеоконференции. То есть передается только базовая форма лица, и маленький, оцифрованный поток поток "блендшейпов", который потом накладывается на другом конце.

Это очень похоже на принцип действия Remote Desktop - когда по сети передаются не картинки с содержимым окошек операционной системы, а команды для перерисовки окошек и окошки перерисовываются на другом конце.

И это попрождает уйму вопросов и поводов задуматься (как обычно) об неумолимой оцифровке нашего утлого мира.

Мне, например, интересно, как часто базовая форма лица, подобно MPEG, пересылается с некоторой периодичностью в виде "базовых" кадров. Для consisitency, так сказать.

Также интересно, что же за "блендшейпы" передаются. Насколько это похоже или непохоже на Apple AR Kit изнутри?

А уж про аватаризацию даже подумать страшно. Поглядите видео, там все это добро есть. Скоро наши зумы будут похожи на цирк ̷у̷р̷о̷д̷о̷в̷ пародий, а Диснею пора бежать в Нвидию и лицензироваться своих героев-аватаров.

Ну и, конечно, интересно пофилософствовать о том, что оцифровываются уже не только лица кожаных мешков в виде потока пикселей, но и более высокоуровневые сущности, типа эмоций, направления взгляда, фонем и всяких мимических ужимок. И все это бурным потоком гонится по сети, заруливая по дороге в дата центры с целью заботливого складирования в датасетики для дальнейшего обучения ИИ и изучения ЕИ.
А из-за угла снова выглядывает призрак трансгуманизьма...
https://developer.nvidia.com/maxine

И как тебе такое, Илон Маск?
Магнитный микроробот доставит нейроны в мозг. В нужное место.
"Ученые из Южной Кореи сконструировали микроскопического робота, который управляется внешним магнитным полем и доставляет в изолированные in vitro ткани гиппокампа крысы культивированные нейроны. Это позволяет избирательно соединять и заново запускать нейронные сети, связи в которых ранее были нарушены. Технология потенциально способна помочь в контроле над ростом клеток в поврежденном мозге, в том числе человеческом. "
Вот это вот " заново запускать нейронные сети, связи в которых ранее были нарушены" реально впечатляет.
Отсюда и до вечной молодости рукой подать...
https://nplus1.ru/news/2020/10/02/neuro-robot