​​Коллекция нейросетей под любой запрос

AILibri — огромная коллекция бесплатных и не очень AI-инструментов для всего: от дескрибации видео до 3D-моделирования. Сохраняем, ведь рано или поздно обязательно пригодится.

#llm

@neuro_channel

Как встроить локальную LLM в прод: от выбора модели до мониторинга токенов

Локальный прод делает нас независимыми от внешних API: капризы провайдеров, модерация, отключения или апдейты моделей больше не ломают воркфлоу. Но использование локальных моделей усложняется из-за стоимости железа и поддержки.

Разбираемся, из чего состоит инфраструктура прода для локальных LLM, что важнее — размер модели или TPS и какие метрики нужно вывести на дашборд, чтобы ничего не упало. Изучить вопрос можно по ссылке.

#llm #ии

Почему вам стоит добавить LLM‑as‑a‑Judge в пайплайн автоматического тестирования и как это сделать

Если вы читаете эту статью, значит, уже понимаете, зачем нужны автотесты и какую роль они играют в разработке LLM‑ассистентов и агентов. В таких проектах тестирование важнее классического: ответы недетерминированы, а задачи специфичны — от сбора бенчмарков до сравнения сгенерированных ответов с эталонными.

Здесь вы узнаете, почему стоит внедрить гибридный автоматизированный пайплайн, сочетающий сравнение векторов и подход LLM‑as‑a‑Judge, и как выстроить его так, чтобы ручная разметка оставалась только стартовым этапом, а не постоянной нагрузкой на команду.

#llm #ml

@tproger
Читайте также в VK, Max и Дзен