Экономим на подписках: как использовать все LLM эффективно и тратить меньше

Решил поделиться небольшой инструкцией, как я экономлю на подписках. Не смотря на то, что у меня есть доступ к платным LLM на рабочих аккаунтах, не все я могу использовать регулярно. Сейчас стандартная цена подписки на одну LLM — $20 в месяц. Я считаю, что в арсенале нужно иметь минимум 2 модели для разных задач, а лучше 3. Получается, базовый ежемесячный расход на LLM — $40-60. + к этому добавьте еще пару сервисов вроде Cursor. Сначала кажется, что это не так много, но за год набегает почти $1000 из которой можно половину сэкономить, а на эти деньги купить себе что-то приятное.

В чем секрет?
Вне зависимости от задач, большинство из нас не будет использовать возможности LLM на все $20. Шанс выйти за лимиты велик только если постоянно использовать самую продвинутую модель, но это нужно далеко не всегда. Исходя из этого, предлагаю покупать подписку только на одну, самую нужную LLM, а остальные использовать на бесплатном тарифе или по API.

У меня это выглядит так: я плачу только за Gemini (входит в мой тариф Google One), а в качестве API-провайдера выбрал Openrouter. У Openrouter есть много бесплатных моделей, включая DeepSeek, Llama 4, экспериментальные Gemini и другие. Удобство в том, что вы получаете один API-ключ для доступа ко всему. Плюс, если разрешаете использовать свои промпты для дообучения, получаете скидку на платные модели. А еще, ключ от Openrouter вы можете вставить в Cline и иметь полный аналог Cursor бесплатно с Gemini 2.5 PRO. В общем, плюсов много.

Для подключения API-ключа я использую приложения Intellibar и Chatbox AI.

Про первое я уже рассказывал, а вот про второе хочу немного добавить. Chatbox AI дает контроль над параметрами, которые недоступны в стандартных пользовательских интерфейсах, например, температура, TOP-P, количество сообщений в контексте. При этом там есть все нужные инструменты: поиск, готовые ассистенты, чтение ссылок. В общем, для базового ежедневного использования — очень классная штука. К тому же, модель можно сменить прямо во время диалога. Условно, начали работать с Gemini, но решили переключиться на ChatGPT, сохранив контекст — в Chatbox это делается легко. Альтренатива чатбоксу, если вы не боитесь командной строки - Open WebUI, там настроек еще больше.

Главный минус такого подхода: если используете бесплатные модели от Openrouter, ваши данные будут использоваться для дообучения. Хотя это происходит и в классических интерфейсах того же ChatGPT и Gemini. Для платных заверяют, что нет (но я в это не верю). Поэтому для приватных задач лично я использую локальные модели через Ollama и LMStudio, но о них расскажу в отдельном посте.

#инструменты

Что посеешь, то и пожнешь: почему новые модели OpenAI галлюцинируют чаще старых

Помните, я как-то упоминал исследование Google DeepMind? Они тогда еще подсветили интересный момент: OpenAI активно использует автоматизацию для исследований в области ИИ. Google напирал на то, что правильное применение автоматизации - это ускорение исследований, а не полное перекладывание на машину цикла обучения моделей. Подход OpenAI они как раз критиковали. Мол, так можно наплодить ошибок.

Вспомним еще пару моментов. В статье DeepSeek про их метод обучения SPCT (когда модель сама себя критикует и учится на этом) тоже отмечались риски: увеличение предвзятости (bias) и галлюцинаций. Логика простая: если в исходных данных была ошибка, то при самообучении количество таких ошибок будет только множиться. А в статье "AI 2027", о которой я также писал, предсказывался сценарий, где OpenBrain, автоматизировав создание ИИ, получил на выходе AI с проблемой рассогласования целей (Missalignment).

К чему я это все? А к тому, что очень похожую картину мы сейчас наблюдаем с последними моделями от OpenAI - o3 и o4-mini. Их позиционируют как state-of-the-art, особенно в задачах, требующих "рассуждений". Но вот незадача: согласно последним данным, галлюцинируют они чаще, чем их предшественники.

Смотрите сами на результаты внутренних тестов OpenAI на бенчмарке PersonQA (проверка знаний о людях):
- o3: галлюцинирует в 33% случаев.
- o1 и o3-mini (предыдущие "reasoning" модели): 16% и 14.8% соответственно.
- o4-mini: вообще 48%!

То есть, модели, заточенные под агентский ИИ, под задачи, где нужно не просто выдать текст, а "подумать", построить цепочку рассуждений, совершают больше ошибок. Сама OpenAI в своем отчете признает, что пока "требуется больше исследований", чтобы понять, почему так происходит. (Не видят слона в комнате). Одна из гипотез: модели стали делать больше утверждений в целом, и среди них, естественно, растет как число верных, так и число неверных. Подобное также отмечают и исследователи Transluce.

И это огромная проблема.

Чтобы агентский ИИ был реально полезен, количество ошибок нужно не увеличивать, а сокращать. Мы же хотим использовать ИИ для работы в реальном мире, верно? А теперь представьте: вы - обычный айтишник, собрались в отпуск и решили делегировать планирование ИИ-агенту, сказав “Я хочу хорошо отдохнуть в Монако”. А он возьми и сгаллюцинируй: забронировал вам с карты пару мишленовских ресторанов, яхту и отель, на который уйдут все сбережения. Вроде цель "сделать крутой отдых" достигнута, но какой ценой? 🙂

И это еще самое безобидное. Представьте, что такому "галлюцинирующему" агенту доверят более серьезные задачи: управление бизнес-процессами, научные расчеты, решение социальных проблем. Последствия могут быть куда масштабнее. Некоторые исследователи предполагают, что проблема может быть в методах обучения с подкреплением, которые используются для o-серии и могут усиливать проблемы, обычно сглаживаемые на других этапах.

Нам постоянно говорят, что ИИ сделает жизнь лучше, автоматизирует рутину. Но чтобы этого достичь, нельзя бежать впереди паровоза в безумной гонке за AGI. Если ставка делается на самообучение без должного контроля, то количество предвзятостей и галлюцинаций рискует расти в геометрической прогрессии, и человек просто потеряет контроль.

Очень надеюсь, что текущие "сырые" модели - это все же эксперимент, и OpenAI предпримет меры. Хотя, глядя на действия Альтмана, скорее верится в то, что финансовые показатели и хайп вокруг "гонки вооружений" важнее надежности и безопасности.

В общем, навайбкодил :)

Пока думаю над форматом. Вдохновлялся, думаю, сами знаете чем 😁

P.S. Делал в Cursor, и, все-таки, сравнивая Cursor и Bolt, в Bolt мне больше нравится делать сайты. Режим Агента в Cursor вобще не зашел, часто творит дичь. + постоянное переключение между браузером и IDE - тоже такая себе штука. + в плане точечного редактирования и работы с адаптивами Bolt выигрывает.

Выступлю на вашем мероприятии в Белграде, в Москве или по видео-связи

Друзья, знаю, что меня читает много людей из корпоративной среды, в том числе, организующих различные мероприятия как внутри компаний, так и на конференциях.

В конце апреля я выдвигаюсь из США в сторону России. По пути несколько дней проведу в Сербии по визовым вопросам, а в России задержусь до начала июля.

В этот период я хотел бы максимально продуктивно использовать время, посетив конференции, митапы или, возможно, организовать очное корпоративное обучение. Также рассматриваю для себя возможность записаться в подкасте или сделать нечто подобное. Если у вас есть какие-либо предложения или вы готовы помочь в организации подобного мероприятия, пожалуйста, напишите мне в личку @vladkor97 - обсудим детали.

О себе писал в закрепе.

Ориентировачная доступность:
- Сербия, Белград - 29 апреля - 4 мая.
- Россия, Москва - 10 мая - 1 июля. Во время пребывания в России также рассматриваю и другие города для посещения.
- Удаленно - практически любое время.

Крайние даты могут измениться в зависимости от разных факторов, но в обозначенные сроки точно буду в странах из списка выше.