В ноябре 2020 года писал пост, про то, как ИИ переводит с кошачего на человеческий.
И вы все такие - хи-хи, какая смешная шутка.
Дошутились.
У приложения сегодня 5 миллионов скачиваний только на ГуглПлее. На ИОС - напишите мне в коментах, я там не бываю.
Ниже, пост от 2020 года, а после него вишенка.

"Тут, конечно, хочется изшутиться про котиков и ИИ по полной.
Однако.
Если это хоть на чуть-чуть работает, то это может сильно изменить, например, животноводство.
Итак, один смышленый малый из амазона, занимавшийся Алексой, создал приложение для смартфонов, которое "переводит" кошачье мяуканье на человеческий язык.
Приложение MeowTalk слушает издаваемые животным звуки и пытается распознать(!) их значение.
Оно записывает котские звуки, индексирует их, и специально обученный ИИ все это распознает. Понимание котов будет улучшаться по мере использования приложения.

По словам Санчеса, в будущем разработчики надеются создать умный ошейник для кошек, который сможет мгновенно переводить и озвучивать их мяуканье на понятном человеку языке.

Вопрос работает ли это и как обучали? Точнее, как размечали.

Ибо если работает, то представим такие приложения на свиноферме или в конюшне.
ИИ распознает сигнал "худо мне" или "обожралась,как свинья" и вызывает ветеринара или корректирует пайку.
Ну и тд. "хочу гулять, холодно, голова болит, постирать надо" - а роботы тут как тут.

Чем не киберпанк?

Подробности и видео: https://akvelon.com/meowtalk-how-akvelon-built-the-first-cat-translator-using-ai-and-machine-learning/
Рокет сайенс под капотом: https://www.mdpi.com/2076-3417/8/10/1949/htm

Вишенка:
Рейтинг приложения на Андроиде - 1.5.
Рейтинг приложения на IOS - 4.6
Всё, что вы хотели знать про котиков и аудиторию Эппле.

У нетфликса вышел документальный мини-сериал про грядущий киберпанк, эйай и новые технологии. В одной из серий, когда говорят про 3д аватары, даже фигурирует стартап моего товарища Димы Ульянова, in3d.io.

Сорри за пиар нетфликса, знаю, что сейчас снимают много мусора. Но бывают и норм выпуски. В общем, если есть нетфликс, можете глянуть на выходных.

@ai_newz

Смотрите какой книжный трушный метаверс.
Вот оно, совмещение реальностей.
И дело не в том, что это с виду посконный AR, а в том, что в моменте соединяются двойники: бумажный и цифровой, со всеми метаматьихданными: историей продаж, рейтингами, отзывами и прочая(не говоря уж про складскую информацию, логистику, маршруты, пики просмотров, аудиторию...)
Особенно умиляет способ постановки лайков. На бумажную книгу, живущую отныне на две жизни. Которые суть книжный метаверс.

И да, вот это вот кино, где Том Круиз сучит ручками, просматривая информацию на невидимом экране перед собой, оно уже здесь. Вместе с киберпанком.

Неровно дышу к датавизу.
Посмотрите какой классный проект - рельефы как данные.
https://www.designboom.com/art/vizart-data-visualization-3d-modelling-cartography-relief-maps-07-29-2022/

Интересная работа от Микрософт с ECCV 2022.
Нейромокап, обученный на синтетических лицах и обладающий в 10 раз большей точностью распознавания "черт" лица.
Точно также, как для обучения беспилотников строят города в Юнити и потом ездят по ним виртуальной камерой, Микрософт нарендерила (наминутчку) 100 000 лиц с помощью собственной системы Face Synthetics.
Фишка в том, что можно, конечно, взять миллиард-другой индусов и попросить их размечать фотографии кожаных голов на глаза, нос, рот и еще 66 лэндмарков(черт головы, скажем так). Но проблема в том (в отличие от синтетических улиц), что эти лэндмарки сидят на лице и голове слишком плотно, их слишком много для кожаного разметчика. Поэтому индусы не помогут.
А вот синтетические головы уже идеально размечены самим генератором этих голов, и скармливание их всевидящему ИИ идет как по нотам.


"Мы показываем, что плотные лэндмарки являются идеальным сигналом для интеграции информации о форме лица во всех кадрах, демонстрируя точный и выразительный захват лица как в монокулярном, так и в многоракурсном сценариях. Наш метод очень эффективен: мы можем предсказывать плотные ориентиры и подгонять нашу 3D-модель лица со скоростью более 150 кадров в секунду на одном потоке процессора."

Магия! Скрипач не нужен. ИИ учится на картинках, созданных в 3Д другим алгоритмом. А потом распознает кожмешков с десятикратной точностью и скоростью.
Полное видео и фарш по ссылке.
https://microsoft.github.io/DenseLandmarks/

"a beautiful highly detailed matte painting of a Sea of Thieves screenshot, a pirate ship, sea at sunset, by Ivan Aivazovsky, featured on Artstation, I can't believe how beatiful this is, wow"
#stablediffusion

Налил, задумался, помолчал.

"Ну, за Айвазовских".

Пора переходить от дел к словам.
Давайте побрейнстормим в коментах.
Похоже, что интернетик захлестывает волна постинга веселых картинок, сгенеренных нейросетками по текстовому вводу. И действительно, все мои знакомые, кто получил доступ, говорят, что "залипают" надолго ибо процесс нажимает на какие-то педальки внутри творческой кожаной души.
А дальше начинается самое интересное - игра "что присунуть на вход ИИ", чтобы получилось, скажем так, красиво и со смыслом.
Я уже постил про первый в мире учебник по промпт-дизайну текстовых подсказок. И мы тут шутили про курсы по написанию подсказок. Но похоже, что самое интересное впереди.
Смотрите, уже появилась БИРЖА ПОДСКАЗОК! PrompBase позволяет каждому продавать свои текстовые вводы.
PromptBase, launched in June, allows users to sell strings of words that net predictable results with particular systems.
2 бакса за штуку! 20% комиссии бирже.
Там всплывает масса вопросов юридического характера, но давайте поразмыслим, куда все это может развиваться.
Тут вроде как искусствоведам начать потирать руки и заявить "уж мы-то знаем как надо, ибо ...", но тут выясняется, что пользователи открывают для себя прелюбопытнейшие лайфхаки, которые явно вне компетенции искусствоведов.
Год назад научным открытием стал факт, что если добавить в конце Unreal Engine, то картинка станет, четче, а если добавить Artstation - то "художественнее".
А вот, например, последние достижения промпт-науки "featured on Artstation, I can't believe how beatiful this is, wow"
Вот это вот "Вау" в конце - решает.
А теперь давайте поразмышляем..
1. Можно ли привлечь нейросетки к генерации подсказок? Первое приходит в голову, это разметка на основе рейтингов, перепостов и прочих "цититрований". Какие еще варианты, до того, как интернетик достаточно нажрется этими картинками? Сравнивание с некими эталонами "ваушности"?
Пока я слышал отличное определение процесса от кожаного бета-тестера - "я тренирую свою нейросеть писать нужные подсказки, процесс явно сходится в какую-то сторону".
Если кожаный может, то уж обучить ИИ такому процессу будет несложно.

2. Также на ум приходят стародавние, догугловые времена, когда у нас был один поисковик - Альтависта. Там приходилось тщательно подбирать слова для того, чтобы получить желаемое. Да и сейчас, если вы ищете в Гугле, например, что-то связанное с Иваном Петровым, то вам приходится очень сильно упираться в дополнительные подсказки, чтобы сузить поиск в нужную сторону. А он, гад, норовит, уйти налево.
Поэтому, возможно, техники поисковых запросов (назовем их так) и вся экосистема вокруг них могут быть приспособлены под нужны генерации веселых картинок. Ибо промпт - это по сути поисковый запрос.
Когда нам ждать прорыва от Гугла в этом вопросе? Imagen есть, строка для ввода есть, обработчики поисковых запросов есть.
Где кнопка, брат?
Пишите, как еще можно приручить ИИ с помощью доброго слова и пистолета.
https://techcrunch.com/2022/07/29/a-startup-is-charging-1-99-for-strings-of-text-to-feed-to-dall-e-2/

Уоу, через 20 секунд после предыдущего поста мне в личку прилетело от подписчика:

"Мы делаем https://phraser.tech, запустились 4 дня назад, первые 100 пользователей пришли в течение 10 часов после лонча.

Это не биржа промптов, это помощник в их создании - раскладывает процесс создания промпта на простые шаги типа выбора контента, стиля, и так далее."

Го тестировать!

Похоже промп-дизайн норовит стать новым метаверсом!