Сэкономить на токенах в 10 раз

В наивной реализации нейросеть читает чат каждый раз заново и прогоняет через видеокарту всю историю диалога – хотя от запроса к запросу старые реплики не менялись. Для оптимизации провайдеры придумали кэширование – оно позволяет посчитать этот кусок однажды и дальше подставлять готовым. У Anthropic, например, чтение из кэша стоит раз в десять дешевле обычного, плюс ответ приходит быстрее.

К сожалению, лекарство неполное. Кэш живёт в памяти видеокарты, а её мало и она дорогая, поэтому под нагрузкой старые куски вытесняются и всё опять считается заново. Есть и привязка ко времени – отошёл человек от чата на час, вернулся, а контекст уже протух. В итоге глобально проблема никуда не делась – её просто немного сгладили.

Идея #стартапдня Tensormesh – не выбрасывать посчитанное, когда в видеопамяти кончается место, а сгружать кэш ниже: в обычную оперативную память, на SSD, в сетевое хранилище. Заодно он становится общим для всех видеокарт разом. Готовый кусок тогда переживает и вытеснение, и паузу, и переезд на другой сервер, а пересчитывать приходится заметно реже.

Движок можно скачать и использовать бесплатно. Он относительно популярен, на Github у проекта 9 600 звезд. У Nginx для сравнения 31 000, у OpenClaw 380 000. Зарабатывает Tensormesh на собственном хостинге чужих opensource моделей. Его формула – “кэшированные токены отдаем бесплатно”. Утверждается, что в каких-то сценариях это выйдет и в 10 раз дешевле обычной цены.

https://www.tensormesh.ai/

#ai #технология #rounda #сша

AI-пикник клуба

Приглашаем провести эту субботу с ShareAI. Мы собираемся в неформальном формате: жарим шашлыки, пьём вино и говорим про рынок, технологии и будущее с Андреем Рыбинцевым — управляющим директором по ИИ в Авито.

Предприниматели, если вы в Москве и интересуетесь AI — приходите обязательно!

Москва, Парк Сокольники, 27 июня, суббота, собираемся в 17:00.
С гостей просим минимальный оргвзнос на аренду площадки и еду.

Пишите мне (@gornal) или @shareais при интересе.

P.S.: мест больше нет 😞

Две почти одновременные истории рядом.

1. У меня есть интернет-знакомый, объективно очень умный. У него и должность такая, куда исключительно за IQ берут, а не по блату и не за пробивные качества. И репутация соответствующая – мне два очень разных и очень скупых на похвалу человека его как умного рекомендовали. И даже лицо на аватарке светится интеллектом – а вживую я его и не видел никогда.

Последнее время он на полном серьезе постит перепечатки новостей из Панорамы – сайта пародийных новостей.

2. Мой сын (11 лет) слушает пропагандистскую передачу. Обсудил с ним.

Все сам прекрасно понимает. Плохо выговаривает слово «агитационный», но отлично чувствует его смысл. Знает, что он цель, а не клиент, что микрофон — такое же оружие, как дрон.

Тем не менее слушает, фиг оторвешь. «Нравится, интересно.»

Детям 11 лет простительно. Взрослые – старайтесь отключаться. И детей тоже отключать по возможности.

#политота #личное

Бизнес без людей

AI может программировать.
AI может вести рекламные кампании.
AI может проводить маркетинговые исследования и анализ рынка.
AI может генерировать идеи.
AI может договариваться с поставщиками и покупателями.
AI может проверять готовность задач и напоминать о них исполнителям.

В принципе, если соединить всё это вместе, то получается готовый бизнес. Ни сотрудники, ни предприниматель не нужны. В теории SaaS или продавец на Амазон поддаются абсолютной автоматизации.

Американский #стартапдня Polsia проверяет теорию практикой. Стартап – сервис для генерации полноценных бизнесов. Заказчик просто подписку платит, остальное должен делать агент. Делегировать ему можно даже саму идею проекта (“делай что хочешь”), хотя можно и назначить свою (“маркетинговое агентство для ресторанов”).

Я попробовал получить медиа для инвесторов и стартаперов. Polsia поработал-поработал и сделал мне лендинг для чего-то типа Anglellist, точки привлечения инвестиций. То ли ошибся, то ли здраво решил, что на медиа никто не заработает, лучше быть посредником в сделках. Дальше демо закончилось, стартап потребовал кредитку, я на это забил. Но в принципе верю, что и личный кабинет он бы написал и рекламу в Google бы запустил.

Отзывы тех, кто пошел дальше меня, в основном негативные. Агенты глючат и не доводят дела до конца, реальный бизнес не получается. Никто из клиентов не построил единорога (или благоразумно молчит о найденной золотой нише, но я оцениваю эту вероятность как крайне низкую).

С другой стороны, сам Polsia утверждает, что построен именно по такому принципу. Основатель всю работу доверил AI, а сам только на финальные звонки с инвесторами приходил. И вот – 30 миллионов долларов компания привлекла, явный успех. Одно другому, кстати, совершенно не противоречит. В инфобизе лучше всех зарабатывали те, кто учил зарабатывать на инфобизе – так и AI может автоматически создать только компанию по AI-создании компаний.

На лендинге стартап пишет о 8300 клиентов. Верить ли этому числу – не знаю. На лендинге моего проекта он, для сравнения, написал о 2400 участниках и 180 миллионах долларов, прокрученных через платформу.

https://polsia.com/

#seed #сша #ai #технология

И еще о вайбкодинге

Увидел рекламу некого стартапа. Молодого, но якобы уже достаточно популярного, полмиллиарда долларов GMV в пересчете на год.

Зашел посмотреть сайт — а там в разделе отзывы хвалят чужой продукт. Не просто маркетолог мнение клиентов придумал, а прямо один в один у чужого бренда скопировал и даже название не поменял. «Сервис Б классный», буквально так и пишут на сайте А.

Без AI бы так не было, но не AI в этом виноват.

#простомысли

Семейная память

Хотели бы больше узнать о своем прадедушке? Скорее всего, уже поздно.

Российский #стартапдня Расскажи предлагает сделать так, чтобы о них больше узнали ваши дети и внуки. Идея – персональная книга о дорогом (и, скорее всего, пожилом) члене семьи.

Сервис присылает вопросы из списка на сотню с лишним пунктов – про детство, про первую любовь, про то, чему научила жизнь. “Герой” отвечает голосом или текстом прямо в мессенджер, а редакторы превращают сумбур надиктованного в связные главы, добавляют семейные фото. Процесс длится 3-4 месяца. На выходе – цифровая копия и настоящая книга в твёрдом переплёте страниц на полтораста.

Цена – 15 тысяч рублей плюс доставка единственного экземпляра. Платят обычно молодые родственники, а не сам рассказчик. Сумма кусается, но клиент видит много ручной работы и понимает, что платит не за воздух.

Стартап появился на свет совсем недавно. На сайте он пишет о полумиллионе проданных экземпляров – это пока не индивидуальные заказы, а продажи обычной "массовой" книги-опросника.

https://rasskazhimne.ru/

#россия #контент #общение #насвои

Случайный факт дня. Многие жители Саранска на вопрос об образовании скромно отвечают: МГУ.

То что ГУ Мордовский, а не Московский, можно не уточнять.

Voyage Foods через 4 года – как продавать заменители вкуса

Логика бумера. Да, натуральные ингредиенты теперь дорогие, а покупатели бедные, придется делать продукты из пальмового масла, сверху добавим вкусовые добавки, авось никто ничего не заметит.

Логика стартапера-миллениала. Ого! Оказывается, в мире есть вкусовые добавки! Можно делать еду с другим вкусом! Сделаем продукты из пальмового масла, накидаем туда химии, чтобы было похоже на что-то привычное, и всем расскажем, что это круче!

И какой здесь стартап? Американский #стартапдня Voyage Foods обещает переделать на новый лад всю популярную кухню. Реально он уже выпускает одно блюдо: пальмомасловую “арахисовую” пасту. Она гипаллергенна. На производстве не используется рабский детский труд. Глобальное потепление не угрожает плантациям. Целых три преимущества по сравнению с оригиналом! Вкус, цвет и консистенция при этом якобы неотличимы, белки, жиры и углеводы тоже на месте. Результатов слепого тестирования я не нагуглил, но не удивлюсь, если среди непредвзятой публики Voyage ещё и выигрывает у традиционных конкурентов. В общем, надо брать!

Итого. В недавнем раунде стартап привлек 36 миллионов долларов инвестиций, деньги на маркетинг теперь есть, скоро новая паста появится по всей Америке. Не знаю, что с ним будет дальше - но урок по маркетингу нам всем очень полезный, так и надо превращать недостатки в достоинства.

—
Вот такой #субботнийповтор из 2022 года. У стартапа всё хорошо: рост выручки, раунды, крутые партнерства. Бизнес при этом радикально изменился – Voyage Foods больше не делает продукты для людей, а поставляет ингредиенты другим производителям. Модель B2B показалась команде приятнее и безопаснее. А я за 4 года перестал экспериментировать с форматом постов, тоже неплохо.

Мой старый пост: https://t.me/startupoftheday/2370

Меня иногда спрашивают, а не дурак ли я. Обычно отвечаю, что нет, не дурак и у меня об этом есть некоторое количество справок – красный диплом неплохого ВУЗа, всякие рейтинги телеграм-каналов и тому подобное.

Что характерно, у вопрошающего аналогичных справок чаще всего нет.

#личное

История деанонимизации

В 2016 году (10 лет прошло!) в России прогремел FindFace. Стартап проиндексировал фотографии профилей ВКонтакте и научился по ним искать. Пользователь наводил камеру телефона на соседа в метро и узнавал его имя, возраст, а при удаче – и о чем он думал утром. Идеальный инструмент романтических знакомств. Или для всякого мошенничества, если с темной стороны посмотреть. В 2018 году сервис закрылся. Разработчики так и не научились на нем зарабатывать и решили сфокусироваться на заказных проектах по распознаванию лиц.

Американский Clearview появился всего на год позже позже российского собрата и технически делал совершенно то же самое. Даешь ему фотку, он находит этого человека в интернете. Зато монетизировал технологию он радикально по-другому. Clearview не делал мобильной аппки, а продавал доступ в B2B: службам безопасности больших корпораций и подобным клиентам.

В какой-то момент об этом напила пресса, начался скандал. Пользователи возмущались, что их ищут, соцсети – что данные берут без спроса. Суд в итоге постановил, что вообще-то так нельзя, но правительству можно. С тех пор Clearview имеет право продавать услуги Большого Брата государственным органам, а частникам ни-ни. И если американский пограничник сам, без подсказки, нашел ваш уютный бложек, где вы что-то не то о политике пишите – это, видимо, работа Clearview.

Продолжение славной традиции –- современный американский #стартапдня Sherlock AI. Ровно та же техническая идея, а монетизация в этот – подписка в пользовательском приложении. Хочешь знать, кто сидит напротив тебя – плати. Хочешь это знать чаще, чем несколько раз в неделю, – плати дополнительно, лимиты жесткие.

Запустился Sherlock в январе. Живет пока относительно тихо, большого скандала нет. Впрочем, он пока объективно маленький, Sensor Tower показывает выручку 60 тысяч долларов в месяц.

https://www.imsherlock.com/

#сша #россия #насвои #общение #ai #технология

Об общих целях

Саша и Коля запустили бизнес. За несколько лет он дорос до осязаемых масштабов. Основатели начали зарабатывать заметно больше своих сотрудников. Коля квартиру купил. И в этот момент забил: жизнь удалась, больше ему от бизнеса ничего не надо было.

Миша и Петя запустили бизнес. За несколько лет компания доросла до осязаемых масштабов, и стало ясно, что великой она не станет. IPO и список Forbes не предвидятся никак. Миша забил. Квартира и деньги до конца жизни у него и так были, какой смысл стараться, чтобы их стало в два раза больше.

Имена придуманные, истории – нет. Саша и Петя действительно тянут сейчас лямку в одиночестве, и им от этого совершенно не сладко.

Проговаривайте на входе уровень амбиций и цели предприятия. Не всегда возможно, не от всего защитит, но лучше чем ничего.

#простомысли

Где ещё почитать #стартапдня ?

В этом канале — лучший способ, но есть ещё аж 7 платформ. Контент везде идентичный, только без рекламы, и в VK обзоры стартапов отделены от всего остального.

Email-рассылка: https://startupoftheday.ru/subscribe/
RSS: https://startupoftheday.ru/feed/rss/
Max: https://max.ru/startupoftheday
Сетка: https://setka.ru/communities/018c1bba-b791-4224-b86c-b82ab562ee44
Facebook: https://facebook.com/gornal
VK: https://vk.com/startupoftheday и https://vk.com/gornal
Дзен: https://dzen.ru/alexander_gornyy

Подписывайтесь, где удобно.

Я опять в телевизоре, вернее, на YouTube! Про ИИ, как обычно 😊

https://youtu.be/o5G7neo5e8o

Зумеры изобрели сваху

Интересы Tinder и его клиента друг другу противоречат. Один хотел бы сразу найти партнера, другому нужны бесконечные свайпы, часы пролистываний анкет и платные подписки. Угадайте, кто побеждает.

На этом фоне американский #стартапдня Ditto обещает идеальное приложение для знакомств. Пользователь пишет боту, кто он и кого ищет, и на этом его участие заканчивается. Дальше Умные Алгоритмы оценивают профиль, разглядывают фотографии, прикидывает совместимость и находят те самые идеальные пары. Раз в неделю, по средам, человеку приходит одно-единственное сообщение – тебе нужна Маша (или Петя). Выбора нет, листать некого, надо только договориться о встрече.

И, в принципе, механика работает. Каждая пятая пара доходит до реального свидания –это, видимо, действительно хороший результат. И опять же ненапряжный – куда-то реально ходить надо всего лишь раз в месяц. С другой стороны, сейчас Ditto доступен только в кампусах университетов – аудитория очень однородная, случайные пары тоже были бы хороши. В большом мире результаты заведомо будут хуже тестовых. Проверки там ждем позже – первый существенный раунд инвестиций, 9 миллионов долларов, стартап привлек только в феврале.

https://ditto.ai/

#seed #сша #ai #общение

P.S.: прямо в инвестиционной презентации есть скриншот профиля “встречаюсь только с белыми”. Интересно, как так вышло? Это настолько стандартный тезис, что никто не задумывается? Или такой сигнал о ценностях и взглядах основателя, похожих инвесторов ищет?

Участвовал весной в тренинге, 4 часа офлайн. Ведущий недавно спросил – ну как, спустя время рекомендуешь, было полезно?
Я:
– Да. Взял на вооружение одну важную мысль: [три конкретных слова]. Суперполезно. Полностью все окупилось. Огромное спасибо.

Подумал, что рекламировать и продавать тренинг даже и с тремя такими мыслями очень сложно, не то что с одной. Но польза часто измеряется именно в них.

#простомысли

Увидел сегодня на весах числа, которые раньше видел один раз в жизни — и, во-первых, это было аж в 2004 году, а, во-вторых, — после сильного отравления. В общем, объективно — таким стройным, как сейчас, я не был никогда.

#личное

Новости позапрошлой, прошлой и начала этой недели уже в эфире

Блокировка VK
Индия без телеграма
Соцсети без детей
Угадай страну цензуры
Дорогой Apple
Разворот Midjourney
Проблемы ChatGPT
Приключения GPT-5.6
Mythos 5 разблокировали
Падение SpaceX
SpaceX + Cursor
От AI тупеют
Я сказал, квантовый!
Трамп приказал к 2028 году
Дрон-комар
Wildberries + Еаптека
Либерализация AI
Падение каршеринга
Условно для Митрошиной

https://youtu.be/TCDx2gRoVjY

AI или не AI?

С 2022 года кавычки-ёлочки, длинные тире и «правило трёх» — не просто хорошая редактура, а улики против ИИ-текста. Люди хотят знать, читают они какую-то ерунду, которую нейросеть нагенерила, или Качественные Человеческие Мысли. На мой вкус, это желание сродни узнать, калькулятором 37x42=1554(*) получено или в уме вычислено, но людям не прикажешь. Спрос есть.

Интуитивно кажется, что спрос этот должен удовлетворяться запросом к тому же самому AI. Скажи мне, чатик, кто это написал, человек или бот? И, в принципе, в простых случаях ChatGPT справляется. Проверил кавычки, оценил драматургию, прикинул, похожи ли ошибки на намеренные или на натуральные опечатки – и вынес вердикт.

Но – война щита и меча. На той стороне тоже можно повозиться: елочки зачистить, “не X, но Y” убрать, драматургию подпортить, ошибки расставить по правильному списку. Обычный чатик признает текст настоящим. Американский #стартапдня Pangram обещает поймать ИИ и в этом случае. Он обучил на поиск нейрослопа отдельную нейросеть, и ищет не несколько общеизвестных признаков, а какую-то внутреннюю суть, определяемую миллионами параметров. Причины словами объяснить невозможно, но вот эта фраза – точно ИИ, а эта – точно человек.

Платят за сервис в основном университеты, им студентов как-то проверять надо. Качество продукта рекламируется как очень хорошее. Есть более-менее независимые отчеты, подтверждающие точность порядка 99%. Впрочем, мое непрофессиональное тестирование показало результат гораздо хуже. Уже на третьем тестовом примере Pangram уверенно поделил чистый AI-текст на куски, один из которых якобы человек писал.

https://www.pangram.com/

(*) я посчитал в уме, а потом проверил.

#seed #сша #ai #технология

Екатерина Лапшина, основатель Era Capital и сооснователь Okko, выпустила мини фильм о том, что происходит с внедрением AI в 2026 году. Был рад поучаствовать, получилось, по-моему отлично.

https://www.youtube.com/watch?v=gXmn2ds1OXs