"Энтузиасты с YouTube при помощи нейросетей улучшают качество советских мультфильмов. К каким результатам это приводит — Интернет на TJ"
Довольно интересная статья на tjournal про то, как с помощью нейросеток реставрируются старые мультфильмы.
На пальцах, без вот этого python вот всего.
Для нормальных людей.
"Из исходника берётся минутный отрезок (или компиляция), раскладывается на кадры и улучшается различным софтом (waifu2x, Gigapixel или Video Enhance от Topaz Labs). Помимо этого, если требуется, предварительно ролик стабилизируется, очищается от шума, пыли и царапин (с помощью нейросети, естественно).
Готовые кадры обратно собираются в ролик, и результаты сравниваются. Далее следует выбор, каким улучшением воспользоваться, и улучшается весь видеоряд целиком. Затем — постобработка картинки, если обрабатывался звук, то наложение обработанного звука."
https://tjournal.ru/internet/321899-entuziasty-s-youtube-pri-pomoshchi-neyrosetey-uluchshayut-kachestvo-sovetskih-multfilmov-k-kakim-rezultatam-eto-privodit
Довольно интересная статья на tjournal про то, как с помощью нейросеток реставрируются старые мультфильмы.
На пальцах, без вот этого python вот всего.
Для нормальных людей.
"Из исходника берётся минутный отрезок (или компиляция), раскладывается на кадры и улучшается различным софтом (waifu2x, Gigapixel или Video Enhance от Topaz Labs). Помимо этого, если требуется, предварительно ролик стабилизируется, очищается от шума, пыли и царапин (с помощью нейросети, естественно).
Готовые кадры обратно собираются в ролик, и результаты сравниваются. Далее следует выбор, каким улучшением воспользоваться, и улучшается весь видеоряд целиком. Затем — постобработка картинки, если обрабатывался звук, то наложение обработанного звука."
https://tjournal.ru/internet/321899-entuziasty-s-youtube-pri-pomoshchi-neyrosetey-uluchshayut-kachestvo-sovetskih-multfilmov-k-kakim-rezultatam-eto-privodit
TJ
Энтузиасты с YouTube при помощи нейросетей улучшают качество советских мультфильмов. К каким результатам это приводит — Интернет…
«Жил-был пёс», «Трое из Простоквашино», «Шайбу! Шайбу!» и другие примечательные мультфильмы детства — в качестве вплоть до 8K и 60 fps.
А теперь настоящий киберпанк, без всяких шуточек и прибауточек.
Ибо на сцену выходят совсем взрослые ребята, а не цифровые инфлюенсеры с тряпочными картинками.
Дисклеймер. Щас будет лонг-рид, причем не самый веселый. Инстаграмеров и tldr-щиков просят удалиться в нужные соц. сети. (Мне и в fb некомфортно, но я не могу придумать, куда податься, в телеге тоже смешные ограничения типа «нельзя так много писать», но об этом отдельный пост).
Хочу рассказать про новое интервью Гейба Ньюэлла, главы Valve и папы Half Life (ну и который в октябре 2017 года был причислен журналом Forbes к списку 100 самых богатых людей США, его состояние оценивалось в 5,5 млрд долларов)
Статья настолько серьезная, что я позволю себе перевод со своими апокалиптическими (как обычно) комментариями. Ибо то, о чем я твердил на закрытиях последних трех Ивентов (2017-2019), похоже, сбывается с неумолимой точностью.
И речь пойдет о нейрофизиологии и об интерфейсах «мозг-компьютер» (далее BCI – brain-to-computer-interface).
Гейб Ньюэлл рассказал новозеладскому каналу 1 NEWS о будущем интеллектуальных компьютерных интерфейсов (BCI) - области, которую он и другие сотрудники Valve изучали в течение нескольких лет, - и рассказал о том, как Valve работает над внедрением BCI в игровой сектор.
https://www.tvnz.co.nz/one-news/new-zealand/gabe-newell-says-brain-computer-interface-tech-allow-video-games-far-beyond-human-meat-peripherals-can-comprehend
Ньюэлл признает, что некоторые идеи могут показаться невероятными, и сказал, что некоторые из обсуждений, которые он ведет вокруг BCI, «неотличимы от научной фантастики», но, по его словам, разработчики игр совершат ошибку, не исследуя BCI в ближайшем будущем.
Чтобы помочь им в этом, Ньюэлл сказал, что Valve в настоящее время работает над программным проектом BCI с открытым исходным кодом, позволяющим разработчикам начать интерпретировать сигналы, считываемые из мозга людей, с помощью оборудования, такого как модифицированные шлемы виртуальной реальности (VR).
«Мы работаем над проектом с открытым исходным кодом, чтобы каждый мог иметь технологии считывания сигналов мозга с высоким разрешением, встроенные в гарнитуры и шлемы, с использованием множества различных способов», - сказал Ньюэлл.
В ноябре OpenBCI представила дизайн гарнитуры под названием Galea, предназначенный для работы с гарнитурами виртуальной реальности, такими как Valve's Index.
https://openbci.com/community/introducing-galea-bci-hmd-biosensing/
«Если вы в 2022 году разработчик программного обеспечения, у которого нет ни одного из них в своей тестовой лаборатории, вы делаете глупую ошибку», - сказал Ньюэлл.
«Разработчики программного обеспечения для интерактивного взаимодействия - вы обязательно будете использовать одну из этих модифицированных креплений VR для головы, чтобы делать это постоянно - просто потому, что там слишком много полезных данных».
[Комментарий] «слишком много полезных данных» - вот тут, как обычно, вопрос: «для кого полезных». Ответ – для владельца данных. А уж что он с ними будет дальше делать – это очень интересный вопрос. Ну и понятие «персональные данные» приобретает не просто глубокий, а буквально глубокий смысл – данные из глубины ваших мозгов. И тела. Дальше – интереснее. [/Комментарий]
Эти данные, как правило, состоят из показаний тела и мозга игрока, которые могут использоваться, чтобы определить, среди других эмоций игрок взволнован, удивлен, грустен, скучен, удивлен или напуган.
Разработчики могут использовать показания для улучшения погружения и персонализации того, что происходит во время игры - например, немного повысить сложность, если система понимает, что игроку становится скучно.
Ибо на сцену выходят совсем взрослые ребята, а не цифровые инфлюенсеры с тряпочными картинками.
Дисклеймер. Щас будет лонг-рид, причем не самый веселый. Инстаграмеров и tldr-щиков просят удалиться в нужные соц. сети. (Мне и в fb некомфортно, но я не могу придумать, куда податься, в телеге тоже смешные ограничения типа «нельзя так много писать», но об этом отдельный пост).
Хочу рассказать про новое интервью Гейба Ньюэлла, главы Valve и папы Half Life (ну и который в октябре 2017 года был причислен журналом Forbes к списку 100 самых богатых людей США, его состояние оценивалось в 5,5 млрд долларов)
Статья настолько серьезная, что я позволю себе перевод со своими апокалиптическими (как обычно) комментариями. Ибо то, о чем я твердил на закрытиях последних трех Ивентов (2017-2019), похоже, сбывается с неумолимой точностью.
И речь пойдет о нейрофизиологии и об интерфейсах «мозг-компьютер» (далее BCI – brain-to-computer-interface).
Гейб Ньюэлл рассказал новозеладскому каналу 1 NEWS о будущем интеллектуальных компьютерных интерфейсов (BCI) - области, которую он и другие сотрудники Valve изучали в течение нескольких лет, - и рассказал о том, как Valve работает над внедрением BCI в игровой сектор.
https://www.tvnz.co.nz/one-news/new-zealand/gabe-newell-says-brain-computer-interface-tech-allow-video-games-far-beyond-human-meat-peripherals-can-comprehend
Ньюэлл признает, что некоторые идеи могут показаться невероятными, и сказал, что некоторые из обсуждений, которые он ведет вокруг BCI, «неотличимы от научной фантастики», но, по его словам, разработчики игр совершат ошибку, не исследуя BCI в ближайшем будущем.
Чтобы помочь им в этом, Ньюэлл сказал, что Valve в настоящее время работает над программным проектом BCI с открытым исходным кодом, позволяющим разработчикам начать интерпретировать сигналы, считываемые из мозга людей, с помощью оборудования, такого как модифицированные шлемы виртуальной реальности (VR).
«Мы работаем над проектом с открытым исходным кодом, чтобы каждый мог иметь технологии считывания сигналов мозга с высоким разрешением, встроенные в гарнитуры и шлемы, с использованием множества различных способов», - сказал Ньюэлл.
В ноябре OpenBCI представила дизайн гарнитуры под названием Galea, предназначенный для работы с гарнитурами виртуальной реальности, такими как Valve's Index.
https://openbci.com/community/introducing-galea-bci-hmd-biosensing/
«Если вы в 2022 году разработчик программного обеспечения, у которого нет ни одного из них в своей тестовой лаборатории, вы делаете глупую ошибку», - сказал Ньюэлл.
«Разработчики программного обеспечения для интерактивного взаимодействия - вы обязательно будете использовать одну из этих модифицированных креплений VR для головы, чтобы делать это постоянно - просто потому, что там слишком много полезных данных».
[Комментарий] «слишком много полезных данных» - вот тут, как обычно, вопрос: «для кого полезных». Ответ – для владельца данных. А уж что он с ними будет дальше делать – это очень интересный вопрос. Ну и понятие «персональные данные» приобретает не просто глубокий, а буквально глубокий смысл – данные из глубины ваших мозгов. И тела. Дальше – интереснее. [/Комментарий]
Эти данные, как правило, состоят из показаний тела и мозга игрока, которые могут использоваться, чтобы определить, среди других эмоций игрок взволнован, удивлен, грустен, скучен, удивлен или напуган.
Разработчики могут использовать показания для улучшения погружения и персонализации того, что происходит во время игры - например, немного повысить сложность, если система понимает, что игроку становится скучно.
👍2
[Комментарий] И тут Гейбл ничего не говорит про ИИ. А надо бы. Ибо последний здесь сыграет ключевую роль. Пожрав эти данные, он скажет, что надо сделать с игроком, чтобы ввести его в нужное состояние. Проанализировав, например, степень вовлеченности, ИИ может подсказать, как сделать так, чтобы вовлеченность была максимальна. Дальше перейдет к индексу аддиктивности. Дальше, .. ну вы поняли. Читаем дальше, ибо начинаются совсем сладкие вещи. [/Комментарий]
Помимо простого чтения сигналов человеческого мозга, Ньюэлл также обсудил реальность ближайшего будущего - возможность записывать сигналы в умы людей - изменять их чувства или создавать визуальные эффекты лучше, чем реальные.
Он сказал, что BCI сделают игровой процесс намного лучше, чем игрок может получить с помощью своих «белковых периферийных устройств» - например, глаз и ушей.
[Комментарий] «Записывать сигналы в умы людей!» тут даже я подскочил на месте. А он говорит об этом, как о чем-то обыденном. И дальше продолжает повышать градус. [/Комментарий]
«Вы привыкли смотреть на мир глазами, - сказал Ньюэлл, - но глаза были созданы этим недорогим участником торгов, который не заботился о частоте отказов и RMA, и если он сломался, не было возможности что-либо починить, что имело смысл с эволюционной точки зрения, но никак не отражает предпочтения потребителей.
«Таким образом, рассматривая новый визуальный опыт, визуальная точность, которую мы сможем создать - реальный мир перестанет быть метрикой, которую мы применяем для наилучшей визуальной точности.»
«Реальный мир будет казаться плоским, бесцветным, расплывчатым по сравнению с тем опытом, который вы сможете создать в мозгу людей.»
[Комментарий] Тут наркоконтроль должен напрячься по идее, ибо звучит не просто радикально, а программно. И тут, конечно, на ум приходит Тимоти Лири – и вся статья становится похожей на аналогии с сами знаете чем. [/Комментарий]
«Еще круче, когда то, кем вы являетесь, можно редактировать с помощью BCI», - сказал Ньюэлл.
[Комментарий] Трансгуманизм с апгрейдом. [/Комментарий]
На данный момент люди принимают свои чувства такими, какими они себя чувствуют, но Ньюэлл говорит, что BCI скоро позволят редактировать эти чувства в цифровом виде, что может быть так же просто, как использование приложения.
«Одно из первых приложений, которое, как я ожидаю, мы увидим, - это улучшенный сон - сон станет приложением, которое вы запускаете, когда говорите: «О, мне нужно столько сна, мне нужно столько REM (rapid eye movement)», - сказал он.
Другим преимуществом может быть уменьшение или полное удаление нежелательных ощущений или состояний из мозга по терапевтическим причинам.
Некоторые люди, использующие гарнитуры виртуальной реальности, страдают от головокружения из-за несоответствия между тем, что они видят, и тем, что ощущает их тело, но Ньюэлл сказал, что прямо сейчас BCI достигли точки, при которой это головокружение можно подавить искусственно.
[Комментарий] Тут, мне кажется он горячится, и еще не достигли. [/Комментарий]
Несмотря на несколько возможных (уже сейчас) приложений для BCI, Ньюэлл сказал, что он не решается зафиксировать прогресс Valve и превратить его в потребительский продукт, когда скорость исследований настолько высока.
«Скорость, с которой мы изучаем материал, настолько высока, что мы не хотим преждевременно сказать: «Хорошо, давайте просто зафиксируем все, создадим продукт и пройдем все процессы утверждения, тогда как когда через шесть месяцев у нас будет что-то, что позволило бы включить кучу других функций ".
Valve также участвует(!) в проектах по разработке синтетических частей тела в обмен на знания и экспертизу, полученные от участия.
Помимо простого чтения сигналов человеческого мозга, Ньюэлл также обсудил реальность ближайшего будущего - возможность записывать сигналы в умы людей - изменять их чувства или создавать визуальные эффекты лучше, чем реальные.
Он сказал, что BCI сделают игровой процесс намного лучше, чем игрок может получить с помощью своих «белковых периферийных устройств» - например, глаз и ушей.
[Комментарий] «Записывать сигналы в умы людей!» тут даже я подскочил на месте. А он говорит об этом, как о чем-то обыденном. И дальше продолжает повышать градус. [/Комментарий]
«Вы привыкли смотреть на мир глазами, - сказал Ньюэлл, - но глаза были созданы этим недорогим участником торгов, который не заботился о частоте отказов и RMA, и если он сломался, не было возможности что-либо починить, что имело смысл с эволюционной точки зрения, но никак не отражает предпочтения потребителей.
«Таким образом, рассматривая новый визуальный опыт, визуальная точность, которую мы сможем создать - реальный мир перестанет быть метрикой, которую мы применяем для наилучшей визуальной точности.»
«Реальный мир будет казаться плоским, бесцветным, расплывчатым по сравнению с тем опытом, который вы сможете создать в мозгу людей.»
[Комментарий] Тут наркоконтроль должен напрячься по идее, ибо звучит не просто радикально, а программно. И тут, конечно, на ум приходит Тимоти Лири – и вся статья становится похожей на аналогии с сами знаете чем. [/Комментарий]
«Еще круче, когда то, кем вы являетесь, можно редактировать с помощью BCI», - сказал Ньюэлл.
[Комментарий] Трансгуманизм с апгрейдом. [/Комментарий]
На данный момент люди принимают свои чувства такими, какими они себя чувствуют, но Ньюэлл говорит, что BCI скоро позволят редактировать эти чувства в цифровом виде, что может быть так же просто, как использование приложения.
«Одно из первых приложений, которое, как я ожидаю, мы увидим, - это улучшенный сон - сон станет приложением, которое вы запускаете, когда говорите: «О, мне нужно столько сна, мне нужно столько REM (rapid eye movement)», - сказал он.
Другим преимуществом может быть уменьшение или полное удаление нежелательных ощущений или состояний из мозга по терапевтическим причинам.
Некоторые люди, использующие гарнитуры виртуальной реальности, страдают от головокружения из-за несоответствия между тем, что они видят, и тем, что ощущает их тело, но Ньюэлл сказал, что прямо сейчас BCI достигли точки, при которой это головокружение можно подавить искусственно.
[Комментарий] Тут, мне кажется он горячится, и еще не достигли. [/Комментарий]
Несмотря на несколько возможных (уже сейчас) приложений для BCI, Ньюэлл сказал, что он не решается зафиксировать прогресс Valve и превратить его в потребительский продукт, когда скорость исследований настолько высока.
«Скорость, с которой мы изучаем материал, настолько высока, что мы не хотим преждевременно сказать: «Хорошо, давайте просто зафиксируем все, создадим продукт и пройдем все процессы утверждения, тогда как когда через шесть месяцев у нас будет что-то, что позволило бы включить кучу других функций ".
Valve также участвует(!) в проектах по разработке синтетических частей тела в обмен на знания и экспертизу, полученные от участия.
На разработчиков также будет лежать ответственность за то, чтобы их продукты BCI были тщательно протестированы и защищены от взломов.
«В этих системах нет ничего волшебного, что делает их менее уязвимыми для вирусов и тому подобного, чем другие компьютерные системы», - сказал Ньюэлл.
«Прямо сейчас вы доверяете все свои финансовые данные, всю свою личную информацию своей технологической инфраструктуре, и если люди, которые создают это, плохо справляются с этим, они теряют признание потребителей (drive consumer acceptance off a cliff).
«Никто не хочет говорить: «О, помните Боба? Помните, когда Боба взломала российская вредоносная программа? Это отстой - он все еще голый бежит по лесам? » или что-то еще. Так что да, люди должны иметь большую уверенность в том, что это безопасные системы, не несущие долгосрочных рисков для здоровья ".
[Комментарий] Все можно взломать. Но в защиту Гейба можно опять-таки проделать подстановку с телефоном. Его можно взломать, но им все пользуются. Причем цена взлома уже сейчас высока – минимум платежные данные, а дальше так называемые «чувствительные» данные. [/Комментарий]
[Итоговый Комментарий] На своих выступлениях я всегда ставлю слайд из шапки поста, уже 4 года. С вопросом «Контент стучится к нам в голову, что будет следующим способом вводить его в башку кожаного мешка?»
Похоже, что пришло время ответов. Неинвазивные (пока) интерфейсы мозг-компьютер. И это уже не шутки. Это реальность.
P.S. И да, пора переучиваться с производства веселых пикселей для глаз на производство веселых сигналов для BCI – я даже уже название придумал «компьютерная томографика».
Пойду думать над «Ощущая Майя». Что с учетом индийского значения «maya» приобретает «Лири»-ческие смыслы.
«В этих системах нет ничего волшебного, что делает их менее уязвимыми для вирусов и тому подобного, чем другие компьютерные системы», - сказал Ньюэлл.
«Прямо сейчас вы доверяете все свои финансовые данные, всю свою личную информацию своей технологической инфраструктуре, и если люди, которые создают это, плохо справляются с этим, они теряют признание потребителей (drive consumer acceptance off a cliff).
«Никто не хочет говорить: «О, помните Боба? Помните, когда Боба взломала российская вредоносная программа? Это отстой - он все еще голый бежит по лесам? » или что-то еще. Так что да, люди должны иметь большую уверенность в том, что это безопасные системы, не несущие долгосрочных рисков для здоровья ".
[Комментарий] Все можно взломать. Но в защиту Гейба можно опять-таки проделать подстановку с телефоном. Его можно взломать, но им все пользуются. Причем цена взлома уже сейчас высока – минимум платежные данные, а дальше так называемые «чувствительные» данные. [/Комментарий]
[Итоговый Комментарий] На своих выступлениях я всегда ставлю слайд из шапки поста, уже 4 года. С вопросом «Контент стучится к нам в голову, что будет следующим способом вводить его в башку кожаного мешка?»
Похоже, что пришло время ответов. Неинвазивные (пока) интерфейсы мозг-компьютер. И это уже не шутки. Это реальность.
P.S. И да, пора переучиваться с производства веселых пикселей для глаз на производство веселых сигналов для BCI – я даже уже название придумал «компьютерная томографика».
Пойду думать над «Ощущая Майя». Что с учетом индийского значения «maya» приобретает «Лири»-ческие смыслы.
«Оказывается, игровые движки действительно полезны, потому что они симулируют много информации, которая вам нужна, чтобы создать симуляцию руки для людей», - сказал Ньюэлл.
«Вы можете выполнять итерацию программного обеспечения быстрее, чем протез, поэтому мы даем им основу, в которой они могут проводить исследования и работать с пациентами».
Но бионическая конечность от Valve, вероятно(?), пока не актуальна.
«Valve не занимается созданием виртуальных протезов для людей», - сказал Ньюэлл.
«Это то, что мы вносим в этот конкретный исследовательский проект, и благодаря этому мы получаем доступ к лидерам в области нейробиологии, которые многому нас учат о нейробиологии».
[ Комментарий] Вдумайтесь, игровая компания по уши влезает в медицинские исследовательские проекты. В нейробиологию, в нейрофизиологию, во все топовые исследования в области мозга. Это восхищает и пугает одновременно. [/Комментарий]
Что касается протезов, Ньюэлл сказал, что есть несколько интересных вопросов, связанных с развитием протезов.
«Как только вы это сделаете, они скажут: «А можно дать людям щупальце? » Наш мозг никогда не был предназначен для щупалец, но оказалось, что он достаточно пластичный».
Нейропластичность - это термин, обозначающий способность нашего мозга заново учиться управлять телом, когда что-то меняется.
Нейропластичность также имеет место, когда мы учимся использовать инструменты - примером может быть строитель, использующий молоток в течение стольких лет, что он кажется естественным продолжением их тела.
Ньюэлл привел личный пример нейропластичности. В 2006/07 году ему сделали две пересадки роговицы, и после операции в поле зрения между его глазами возникло фантомное изображение некоторых объектов из-за изменения цветового восприятия.
Состояние прошло через несколько недель, когда его мозг приспособился к новым данным, полученным от его глаз.
[ Комментарий] Мне подумалось, что игры – это в принципе идеальный пример обобщенной нейропластичности. Огромный недоисследованный (официально) пласт нейропластичности. [/Комментарий]
Ньюэлл кратко упомянул, что BCI потенциально могут быть использованы для причинения людям физической боли - даже боли, выходящей за пределы их физического тела.
«Вы можете заставить людей думать (думать ли?), что они пострадали, повредив их инструмент, что само по себе является сложной темой», - сказал он.
Разработчики игр могут использовать эту функцию, чтобы игрок почувствовал боль персонажа, которого он играет, как при травме - возможно, в меньшей степени.
Как и любой другой вид технологии, Ньюэлл говорит, что в ее использовании есть определенная степень доверия, и что не всем будет удобно подключать свой мозг к компьютеру.
Он говорит, что никого не заставят делать то, что они не хотят, и что люди, вероятно, последуют за другими, если у них будет хороший опыт, сравнивая технологию BCI с сотовыми телефонами.
«Люди будут сами решать, хотят ли они это делать. Никто не заставляет людей пользоваться телефоном», - сказал Ньюэлл.
[Комментарий] Люди всегда следуют за другими. И все пользуются телефоном. 99% - это все. [/Комментарий]
«Я не говорю, что все будут любить и настаивать на том, чтобы у них был мозг-компьютерный интерфейс. Я просто говорю, что каждый человек будет решать для себя, есть ли у него интересное сочетание характеристик, функциональности и цены».
[Комментарий] Тут я просто сделаю подстановку «Я не говорю, что все будут любить и настаивать на том, чтобы у них был телефон. Я просто говорю, что каждый человек будет решать для себя, есть ли у него интересное сочетание характеристик, функциональности и цены».
Так что BCI в каждый дом – это вопрос времени. [/Комментарий]
«Вы можете выполнять итерацию программного обеспечения быстрее, чем протез, поэтому мы даем им основу, в которой они могут проводить исследования и работать с пациентами».
Но бионическая конечность от Valve, вероятно(?), пока не актуальна.
«Valve не занимается созданием виртуальных протезов для людей», - сказал Ньюэлл.
«Это то, что мы вносим в этот конкретный исследовательский проект, и благодаря этому мы получаем доступ к лидерам в области нейробиологии, которые многому нас учат о нейробиологии».
[ Комментарий] Вдумайтесь, игровая компания по уши влезает в медицинские исследовательские проекты. В нейробиологию, в нейрофизиологию, во все топовые исследования в области мозга. Это восхищает и пугает одновременно. [/Комментарий]
Что касается протезов, Ньюэлл сказал, что есть несколько интересных вопросов, связанных с развитием протезов.
«Как только вы это сделаете, они скажут: «А можно дать людям щупальце? » Наш мозг никогда не был предназначен для щупалец, но оказалось, что он достаточно пластичный».
Нейропластичность - это термин, обозначающий способность нашего мозга заново учиться управлять телом, когда что-то меняется.
Нейропластичность также имеет место, когда мы учимся использовать инструменты - примером может быть строитель, использующий молоток в течение стольких лет, что он кажется естественным продолжением их тела.
Ньюэлл привел личный пример нейропластичности. В 2006/07 году ему сделали две пересадки роговицы, и после операции в поле зрения между его глазами возникло фантомное изображение некоторых объектов из-за изменения цветового восприятия.
Состояние прошло через несколько недель, когда его мозг приспособился к новым данным, полученным от его глаз.
[ Комментарий] Мне подумалось, что игры – это в принципе идеальный пример обобщенной нейропластичности. Огромный недоисследованный (официально) пласт нейропластичности. [/Комментарий]
Ньюэлл кратко упомянул, что BCI потенциально могут быть использованы для причинения людям физической боли - даже боли, выходящей за пределы их физического тела.
«Вы можете заставить людей думать (думать ли?), что они пострадали, повредив их инструмент, что само по себе является сложной темой», - сказал он.
Разработчики игр могут использовать эту функцию, чтобы игрок почувствовал боль персонажа, которого он играет, как при травме - возможно, в меньшей степени.
Как и любой другой вид технологии, Ньюэлл говорит, что в ее использовании есть определенная степень доверия, и что не всем будет удобно подключать свой мозг к компьютеру.
Он говорит, что никого не заставят делать то, что они не хотят, и что люди, вероятно, последуют за другими, если у них будет хороший опыт, сравнивая технологию BCI с сотовыми телефонами.
«Люди будут сами решать, хотят ли они это делать. Никто не заставляет людей пользоваться телефоном», - сказал Ньюэлл.
[Комментарий] Люди всегда следуют за другими. И все пользуются телефоном. 99% - это все. [/Комментарий]
«Я не говорю, что все будут любить и настаивать на том, чтобы у них был мозг-компьютерный интерфейс. Я просто говорю, что каждый человек будет решать для себя, есть ли у него интересное сочетание характеристик, функциональности и цены».
[Комментарий] Тут я просто сделаю подстановку «Я не говорю, что все будут любить и настаивать на том, чтобы у них был телефон. Я просто говорю, что каждый человек будет решать для себя, есть ли у него интересное сочетание характеристик, функциональности и цены».
Так что BCI в каждый дом – это вопрос времени. [/Комментарий]
👍1🔥1
Два с половиной года назад писал пост про ИИ и физиогномику. Как обычно, неблагоразумно кидался идеями для стартапов.
Все, как обычно, хихикали и говорили, не, нереально.
И что?
А вот смышленые ребята из Anura взяли и сделали (не иначе прочитали пост дедушки-лоха).
Короче. Записываете 30-секундный ролик своего кожаного лица.
А потом приложение рассказывает вам все про ваше здоровье. Пока про здоровье.
Анализируя ваше личико.
Да, это пока частный случай. Ребята анализируют с помощью ИИ ваш facial blood flow.
Читаем тут: https://anura.ai/
Список того, что они определяют в первом коменте.
Но что мешает расширить этот подход до:
-динамики радужки(ирис)
-микро-тиков, сокращения лицевых мышц
-саккад
-прочей динамики
Ну и как я уже писал (почитайте старый пост https://bit.ly/3iQiNvU), можно выйти за рамки здоровья и поискать корелляты в совсем других и очень интересных местах.
Вот например в ВШЭ смогли обучить ИИ определять черты личности людей по их фотографиям.
https://hightech.fm/2020/05/22/ai-personal-character
По видео еще жирее будет.
Эх, опять бесплатная раздача идей.
Надо как-то монетизироваться...
Все, как обычно, хихикали и говорили, не, нереально.
И что?
А вот смышленые ребята из Anura взяли и сделали (не иначе прочитали пост дедушки-лоха).
Короче. Записываете 30-секундный ролик своего кожаного лица.
А потом приложение рассказывает вам все про ваше здоровье. Пока про здоровье.
Анализируя ваше личико.
Да, это пока частный случай. Ребята анализируют с помощью ИИ ваш facial blood flow.
Читаем тут: https://anura.ai/
Список того, что они определяют в первом коменте.
Но что мешает расширить этот подход до:
-динамики радужки(ирис)
-микро-тиков, сокращения лицевых мышц
-саккад
-прочей динамики
Ну и как я уже писал (почитайте старый пост https://bit.ly/3iQiNvU), можно выйти за рамки здоровья и поискать корелляты в совсем других и очень интересных местах.
Вот например в ВШЭ смогли обучить ИИ определять черты личности людей по их фотографиям.
https://hightech.fm/2020/05/22/ai-personal-character
По видео еще жирее будет.
Эх, опять бесплатная раздача идей.
Надо как-то монетизироваться...
Anura™
Home - Anura™
👍1
Два поста про Эпик и постпродакшен, ибо подвалило интересных новостей, связанных не только с производством и пайплайнами, а с деньгами и авторскими правами.
FUSE - Framestore Unreal Shot Engine. Интересная новость в Hollywood reporter.
https://www.hollywoodreporter.com/behind-screen/gravity-vfx-supervisor-to-make-directorial-debut-while-introducing-new-filmmaking-tech
Тим Уэббер, креативный директор Framestore по визуальным эффектам, дебютирует в качестве режиссера с короткометражным фильмом, созданным Framestore, чтобы продемонстрировать потенциал недавно разработанного студией конвейера визуальных эффектов, получившего название FUSE - Framestore Unreal Shot Engine.
Это научная фантастика, основанная на существующем IP (и на каком же?!?!) - пилотный проект с прицелом на разработку материала для художественного фильма.
Интересная деталь - он говорит, что Framestore не планирует заниматься разработкой собственного контента. Но дальше все указывает на то, что грань между постпродакшеном и продакшеном истончается и территория айпи, авторских и вот этого вот всего может быть переподелена. См след пост.
«Я всегда хотел быть режиссером», - говорит Уэббер, который получил вторую номинацию на «Оскар по визуальным эффектам» за «Темного рыцаря», получил четыре награды «Эмми» по визуальным эффектам, и чьи работы по визуальным эффектам также включают «Дети людей» и «Гарри Поттер и Кубок огня». Ага, и Framestore не планирует заниматься разработкой собственного контента...
«Начальная точка этого короткометражного фильма - это испытание технологии, но это определенно то, что я хотел сделать, иметь шанс развить эту историю».
FUSE, основанный на Unreal Engine , задуман как рабочий процесс VFX, который может позволить большому количеству художников работать одновременно в движке реального времени, включая предварительную визуализацию, виртуальное производство, управление активами, а также проверку и согласование в в дополнение к производству VFX-кадров и в том числе возможность работать удаленно.
«Мы стремимся производить законченные шоты и полнометражный контент, сотни шотов и, возможно, с СОТНЯМИ художников», - сказал THR руководитель проекта по визуальным эффектам и руководитель проекта Тео Джонс.
По поводу своего короткометражного фильма, который находится в стадии подготовки, Уэббер рассказывает: «Он будет преимущественно сделан с помощью компьютерной графики, но это будет что-то среднее между компьютерной анимацией и живым боевиком». Он добавляет, что это будет включать использование мокап для создания персонажей компьютерной графики. «И мы будем время от времени использовать светодиодные панели, но НЕ ТАК, как их использовал Мандалориан, на самом деле больше похоже на то, как я использовал их в Gravity, где мы использовали светодиодные панели для освещения лица актера при съемке крупным планом».
Джонс добавляет, что в постановке также будет задействована виртуальная камера, позволяющая режиссеру работать с гарнитурами VR и iPad. «Многие инструменты, которые мы будем внедрять, будут для облегчения этого процесса», - говорит он. Возможности нового конвейера создаются в сотрудничестве с Epic, а также в рамках собственной работы в Framestore. По словам Framestore, в планы входит разработка и стресс-тестирование функций, которые потенциально могут быть добавлены в Unreal Engine от Epic. Джонс говорит, что он надеется, что эта работа поможет создать «более эффективный способ работы не только для нас, но и для всей отрасли. Это стремление, направленное на возможность масштабирования всего бизнеса, а не только нишевых подразделений".
В общем Эпик заходит и снизу и сверху.
https://www.framestore.com/news/announcing-fuse-thr
The film, directed by Webber, will be based on a well-established IP which will be announced soon.
FUSE - Framestore Unreal Shot Engine. Интересная новость в Hollywood reporter.
https://www.hollywoodreporter.com/behind-screen/gravity-vfx-supervisor-to-make-directorial-debut-while-introducing-new-filmmaking-tech
Тим Уэббер, креативный директор Framestore по визуальным эффектам, дебютирует в качестве режиссера с короткометражным фильмом, созданным Framestore, чтобы продемонстрировать потенциал недавно разработанного студией конвейера визуальных эффектов, получившего название FUSE - Framestore Unreal Shot Engine.
Это научная фантастика, основанная на существующем IP (и на каком же?!?!) - пилотный проект с прицелом на разработку материала для художественного фильма.
Интересная деталь - он говорит, что Framestore не планирует заниматься разработкой собственного контента. Но дальше все указывает на то, что грань между постпродакшеном и продакшеном истончается и территория айпи, авторских и вот этого вот всего может быть переподелена. См след пост.
«Я всегда хотел быть режиссером», - говорит Уэббер, который получил вторую номинацию на «Оскар по визуальным эффектам» за «Темного рыцаря», получил четыре награды «Эмми» по визуальным эффектам, и чьи работы по визуальным эффектам также включают «Дети людей» и «Гарри Поттер и Кубок огня». Ага, и Framestore не планирует заниматься разработкой собственного контента...
«Начальная точка этого короткометражного фильма - это испытание технологии, но это определенно то, что я хотел сделать, иметь шанс развить эту историю».
FUSE, основанный на Unreal Engine , задуман как рабочий процесс VFX, который может позволить большому количеству художников работать одновременно в движке реального времени, включая предварительную визуализацию, виртуальное производство, управление активами, а также проверку и согласование в в дополнение к производству VFX-кадров и в том числе возможность работать удаленно.
«Мы стремимся производить законченные шоты и полнометражный контент, сотни шотов и, возможно, с СОТНЯМИ художников», - сказал THR руководитель проекта по визуальным эффектам и руководитель проекта Тео Джонс.
По поводу своего короткометражного фильма, который находится в стадии подготовки, Уэббер рассказывает: «Он будет преимущественно сделан с помощью компьютерной графики, но это будет что-то среднее между компьютерной анимацией и живым боевиком». Он добавляет, что это будет включать использование мокап для создания персонажей компьютерной графики. «И мы будем время от времени использовать светодиодные панели, но НЕ ТАК, как их использовал Мандалориан, на самом деле больше похоже на то, как я использовал их в Gravity, где мы использовали светодиодные панели для освещения лица актера при съемке крупным планом».
Джонс добавляет, что в постановке также будет задействована виртуальная камера, позволяющая режиссеру работать с гарнитурами VR и iPad. «Многие инструменты, которые мы будем внедрять, будут для облегчения этого процесса», - говорит он. Возможности нового конвейера создаются в сотрудничестве с Epic, а также в рамках собственной работы в Framestore. По словам Framestore, в планы входит разработка и стресс-тестирование функций, которые потенциально могут быть добавлены в Unreal Engine от Epic. Джонс говорит, что он надеется, что эта работа поможет создать «более эффективный способ работы не только для нас, но и для всей отрасли. Это стремление, направленное на возможность масштабирования всего бизнеса, а не только нишевых подразделений".
В общем Эпик заходит и снизу и сверху.
https://www.framestore.com/news/announcing-fuse-thr
The film, directed by Webber, will be based on a well-established IP which will be announced soon.
The Hollywood Reporter
'Gravity' VFX Supervisor to Make Directorial Debut While Introducing New Filmmaking Tech
Tim Webber will use Framestore's new VFX pipeline incorporating Epic's Unreal Engine.
Эпик ломанулся в анимацию.
В прошлом году назад была новость, что Эпик может выступать инвестором игровых проектов. Причем в разных вариантах, от 50/50 до полного покрытия всех расходов на разработку.
Я еще тогда писал пост (типавшутку), а нельзя ли взять брать денег у Эпика на производство спецэффектов для кино и анимации.
Со спецэффектами все плохо, все авторские права уходят к заказчику в момент подписания счета-фактуры (да поправят меня юристы и более осведомленные люди).
А вот с анимацией все интереснее, там с правами все хитрее.
И тут пару дней назад на Deadline выходит новость о том, что Эпик инвестирует в новый анимационный проект!
https://www.cartoonbrew.com/feature-film/fortnite-creator-epic-games-awards-its-first-film-grant-to-animated-feature-gilgamesh-201112.html
Это полный метр,основанный на эпосе о Гильгамеше, древнем месопотамской эпической(!) поэме.
Производство будет в Аргентине и там целых три участника:
Hook Up Animation, студия, базирующаяся в Буэнос-Айресе, Аргентина, будет анимировать фильм, включив UE в свой конвейер. В числе работ студии: Winnie the Pooh: ABC’s для Disney TV Animation, Xilam Animation's Lucky Luke, а также ролики для клиентов, включая Cartoon Network, MTV и Turner.
Режиссирует аргентинский режиссер-документалист Томаш Липгот. Его компания Duermevela сотрудничает с Epic и Hook Up в этом проекте.
А третий участник - международная фирма Filmsharks, занимающаяся продажами и правами на римейк (которая также находится в Буэнос-Айресе). И наличие менеджера прав тут ключевое, как я понимаю.
Таким образом, Epic заходин на поляну анимации, авторских, продаж и вот этого всего. Там, глядишь, и до кино недалеко. До производства, а не только до эффектов.
(см предыдущую новость про Фреймстор https://bit.ly/3a9dP9m)
Про инвестиции Эпика: https://www.epicgames.com/store/en-US/news/epic-games-publishing-announcement
Ну и в прошлом году, мы основательно прошлись по этой теме на стриме с Алексей Савченко - https://youtu.be/z5rILHi4etg
В прошлом году назад была новость, что Эпик может выступать инвестором игровых проектов. Причем в разных вариантах, от 50/50 до полного покрытия всех расходов на разработку.
Я еще тогда писал пост (типавшутку), а нельзя ли взять брать денег у Эпика на производство спецэффектов для кино и анимации.
Со спецэффектами все плохо, все авторские права уходят к заказчику в момент подписания счета-фактуры (да поправят меня юристы и более осведомленные люди).
А вот с анимацией все интереснее, там с правами все хитрее.
И тут пару дней назад на Deadline выходит новость о том, что Эпик инвестирует в новый анимационный проект!
https://www.cartoonbrew.com/feature-film/fortnite-creator-epic-games-awards-its-first-film-grant-to-animated-feature-gilgamesh-201112.html
Это полный метр,основанный на эпосе о Гильгамеше, древнем месопотамской эпической(!) поэме.
Производство будет в Аргентине и там целых три участника:
Hook Up Animation, студия, базирующаяся в Буэнос-Айресе, Аргентина, будет анимировать фильм, включив UE в свой конвейер. В числе работ студии: Winnie the Pooh: ABC’s для Disney TV Animation, Xilam Animation's Lucky Luke, а также ролики для клиентов, включая Cartoon Network, MTV и Turner.
Режиссирует аргентинский режиссер-документалист Томаш Липгот. Его компания Duermevela сотрудничает с Epic и Hook Up в этом проекте.
А третий участник - международная фирма Filmsharks, занимающаяся продажами и правами на римейк (которая также находится в Буэнос-Айресе). И наличие менеджера прав тут ключевое, как я понимаю.
Таким образом, Epic заходин на поляну анимации, авторских, продаж и вот этого всего. Там, глядишь, и до кино недалеко. До производства, а не только до эффектов.
(см предыдущую новость про Фреймстор https://bit.ly/3a9dP9m)
Про инвестиции Эпика: https://www.epicgames.com/store/en-US/news/epic-games-publishing-announcement
Ну и в прошлом году, мы основательно прошлись по этой теме на стриме с Алексей Савченко - https://youtu.be/z5rILHi4etg
Cartoonbrew
'Fortnite' Creator Epic Games Awards Its First Film Grant To Animated Feature 'Gilgamesh'
The feature will be made with Unreal, Epic's widely used real-time engine.
Ну и киберпанка на посошок.
Раньше люди оборудовали свои машины креплениями для серфдосок и сноубордов, внутри делали спальные места, Ruslan Ogorodnik даже ставил палатку на крышу. В общем машина была для путешествий, для приключений, для исследования мира вокруг.
А вот что у нас в 2021.
https://www.inputmag.com/.../nissan-made-a-wacky-mobile...
Ниссан представил концепт "Мобильного офиса". Надо же на что-то менять кубиклы офисов на удаленке - правильно, на кубиклы в машине.
Только с фонами промахнулись - зачем ехать на природу, чтобы там работать?
На фоне должна быть бетонная парковка с сотнями ячеек, в каждой из которых стоит такой вот Ниссан. И там сидят люди в виар шлемах и масках от Razer.
Раньше люди оборудовали свои машины креплениями для серфдосок и сноубордов, внутри делали спальные места, Ruslan Ogorodnik даже ставил палатку на крышу. В общем машина была для путешествий, для приключений, для исследования мира вокруг.
А вот что у нас в 2021.
https://www.inputmag.com/.../nissan-made-a-wacky-mobile...
Ниссан представил концепт "Мобильного офиса". Надо же на что-то менять кубиклы офисов на удаленке - правильно, на кубиклы в машине.
Только с фонами промахнулись - зачем ехать на природу, чтобы там работать?
На фоне должна быть бетонная парковка с сотнями ячеек, в каждой из которых стоит такой вот Ниссан. И там сидят люди в виар шлемах и масках от Razer.
Все еще думаете, что ИИ можно отключить рубильником?
Школы тоже будем обесточивать?
Новость из 2021: В начальной школе РФ вводится обучение основам ИИ
В конце января 2021 года стало известно о введении в российской начальной школе обучения основам искусственного интеллекта. Новая дисциплина в рамках уроков информатика появится 1 сентября, а первые учебные материалы планируется подготовить к концу мая.
Ну и кстати, по данным Gartner, благодаря активному внедрению искусственного интеллекта в различные отрасли экономики к 2025 году количество созданных рабочих мест превысит число ликвидированных на два миллиона.
https://www.tadviser.ru/a/436257
Школы тоже будем обесточивать?
Новость из 2021: В начальной школе РФ вводится обучение основам ИИ
В конце января 2021 года стало известно о введении в российской начальной школе обучения основам искусственного интеллекта. Новая дисциплина в рамках уроков информатика появится 1 сентября, а первые учебные материалы планируется подготовить к концу мая.
Ну и кстати, по данным Gartner, благодаря активному внедрению искусственного интеллекта в различные отрасли экономики к 2025 году количество созданных рабочих мест превысит число ликвидированных на два миллиона.
https://www.tadviser.ru/a/436257
Немного позитивного киберпанка.
8 CPU cores,
24GB of RAM
with 46.4 GB per second RAM memory bandwidth
Это не новый макбук или телефон.
Это экран.
Хотя по старинке это можно назвать панелькой.
141 сантиметр в ширину.
Это панель в салоне мерседеса.
Под названием MUBX Hyperscreen, a 56-inch Curved OLED Display for the EQS Electric Sedan
Риторика такая: "MBUX Hyperscreen - это одновременно мозг и нервная система автомобиля. MBUX Hyperscreen постоянно узнает клиента лучше и предлагает индивидуализированные, персонализированные информационно-развлекательные и операционные предложения, при этом пользователю не нужно щелкать мышью или прокручивать что-то."
И конечно под капотом ИИ:
"Благодаря тому, что Mercedes называет «нулевым уровнем», пользователю не нужно прокручивать подменю или отдавать голосовые команды. AI фактически помогает предоставлять динамический агрегированный контент из системы MBUX и всех содержащихся в ней сервисов."
В общем Cinema4D временно отменяется. В ближайший год оверлеи для Форсажа и всех фильмов про будущее рендерим скринрекордингом с этого экрана.
Ну красота же! Полтора метра в салоне. Зачем куда-то ехать... сиди и смотри.
8 CPU cores,
24GB of RAM
with 46.4 GB per second RAM memory bandwidth
Это не новый макбук или телефон.
Это экран.
Хотя по старинке это можно назвать панелькой.
141 сантиметр в ширину.
Это панель в салоне мерседеса.
Под названием MUBX Hyperscreen, a 56-inch Curved OLED Display for the EQS Electric Sedan
Риторика такая: "MBUX Hyperscreen - это одновременно мозг и нервная система автомобиля. MBUX Hyperscreen постоянно узнает клиента лучше и предлагает индивидуализированные, персонализированные информационно-развлекательные и операционные предложения, при этом пользователю не нужно щелкать мышью или прокручивать что-то."
И конечно под капотом ИИ:
"Благодаря тому, что Mercedes называет «нулевым уровнем», пользователю не нужно прокручивать подменю или отдавать голосовые команды. AI фактически помогает предоставлять динамический агрегированный контент из системы MBUX и всех содержащихся в ней сервисов."
В общем Cinema4D временно отменяется. В ближайший год оверлеи для Форсажа и всех фильмов про будущее рендерим скринрекордингом с этого экрана.
Ну красота же! Полтора метра в салоне. Зачем куда-то ехать... сиди и смотри.
Для тех, кто в теме.
Шаттерсток только что купил Турбосквид.
Это к вопросу об ассетном мышлении, переиспользовании графики, роли стоков и прочая.
75 миллионов кешом.
Оцифровка мира идёт с разных концов.
А впереди огромный Лего Лэнд.
И локейшен скауты переучиваются в ассет-библиотекарей.
А моделлеры и текстурщики чешут в затылке.
https://blog.turbosquid.com/2021/01/26/shutterstock-to-acquire-turbosquid-the-worlds-largest-3d-marketplace/
Шаттерсток только что купил Турбосквид.
Это к вопросу об ассетном мышлении, переиспользовании графики, роли стоков и прочая.
75 миллионов кешом.
Оцифровка мира идёт с разных концов.
А впереди огромный Лего Лэнд.
И локейшен скауты переучиваются в ассет-библиотекарей.
А моделлеры и текстурщики чешут в затылке.
https://blog.turbosquid.com/2021/01/26/shutterstock-to-acquire-turbosquid-the-worlds-largest-3d-marketplace/
TurboSquid Blog
Shutterstock to Acquire TurboSquid, the World’s Largest 3D Marketplace - TurboSquid Blog
New York, NY – January 26, 2021 – Shutterstock, Inc. (NYSE: SSTK) (the “Company”), a leading global creative platform offering full-service solutions, high-quality content, and tools for brands, businesses and media companies, today announced that it entered…
Ух ты!
ИИ-колокоррекция в Резолве.
Да еще и российские разработчики.
Класс.
https://grady.ai/ru/
Ну, за колористов?
ИИ-колокоррекция в Резолве.
Да еще и российские разработчики.
Класс.
https://grady.ai/ru/
Ну, за колористов?