Надо отметить, что ML (без мух) с Гермесом, - достаточно увлекательное занятие само по себе.
решил поиграться в RSI и собрал агентский цикл на базе ModernBERT-large и MLFlow по обучению сверхмалой модели по примеру Jev обучению игры в тетрис и змейку и классификации текстов и картинок одновременно.
т.е. под одну задачу - нет проблем модель сделать - а вот чтобы она хорошо себя показывала во всех - отдельное приключение по намазыванию разных слоёв и увеличению размерности и архитектуры через постоянное дообучение.
Короче дипсик 4.1 флэш весь день с утра её гоняет. ещё дал ему в помощь локальную qwen3.8:27b - и со змейкой и тетрисом он уже справился.
модель при этом размером 1.7М. отвечает за 4мс на М5
это не просто быстро, а трындец как быстро :)
за 1 секунду она может сработать 250 раз :)
170млн токенов он сожрал за день, что по ценам выходного дня, - около $3
продолжаем тренировку.
в ИИзбранном покажу на звонке что и как :)
#обучение #BERT #тетрис #змейка
———
@tsingular
решил поиграться в RSI и собрал агентский цикл на базе ModernBERT-large и MLFlow по обучению сверхмалой модели по примеру Jev обучению игры в тетрис и змейку и классификации текстов и картинок одновременно.
т.е. под одну задачу - нет проблем модель сделать - а вот чтобы она хорошо себя показывала во всех - отдельное приключение по намазыванию разных слоёв и увеличению размерности и архитектуры через постоянное дообучение.
Короче дипсик 4.1 флэш весь день с утра её гоняет. ещё дал ему в помощь локальную qwen3.8:27b - и со змейкой и тетрисом он уже справился.
модель при этом размером 1.7М. отвечает за 4мс на М5
это не просто быстро, а трындец как быстро :)
за 1 секунду она может сработать 250 раз :)
170млн токенов он сожрал за день, что по ценам выходного дня, - около $3
продолжаем тренировку.
в ИИзбранном покажу на звонке что и как :)
#обучение #BERT #тетрис #змейка
———
@tsingular
🔥26🏆4❤2⚡2👍1
UltraBERT: один энкодер сразу для классификации и поиска
📋 Исследователи DMIS Lab на этой неделе выпустили UltraBERT, - семейство энкодеров на 150M и 380M параметров с нативным контекстом 32K токенов. Это первый энкодер, который лидирует сразу в двух бенчмарках: 91.0 на GLUE и 47.7 на BEIR.
💡 Раньше ни одна модель не была лучшей одновременно в классификации и поиске. Авторы прогнали абляции на 70 триллионах токенов и нашли причину: низкая доля маскирования (5%) делает сильнее классификатор, высокая (50%) - поисковик, а их смешивание в одной голове даёт компромисс.
Бонусом выяснили, что энкодеры, в отличие от декодеров, насыщаются: качество выходит на плато уже после 1-2 триллионов токенов.
💼 Рецепт UltraBERT - раздельные LM-головы: в каждом батче смешаны последовательности с 5% и 50% маскирования в пропорции 4:1, и у каждой доли своя голова при общем теле.
Бэкбоны отпилены от крупной учительской модели и дистиллированы. Отдельно вышла UltraBERT-Embed-150M - лучшая модель эмбеддингов до 200M параметров: 67.24 на MTEB по английскому и 73.30 по коду, с контекстом 32K и без дистилляции из более крупного эмбеддера.
📎 Блог Hugging Face
#NLP #BERT #эмбеддинги
———
@tsingular
📋 Исследователи DMIS Lab на этой неделе выпустили UltraBERT, - семейство энкодеров на 150M и 380M параметров с нативным контекстом 32K токенов. Это первый энкодер, который лидирует сразу в двух бенчмарках: 91.0 на GLUE и 47.7 на BEIR.
💡 Раньше ни одна модель не была лучшей одновременно в классификации и поиске. Авторы прогнали абляции на 70 триллионах токенов и нашли причину: низкая доля маскирования (5%) делает сильнее классификатор, высокая (50%) - поисковик, а их смешивание в одной голове даёт компромисс.
Бонусом выяснили, что энкодеры, в отличие от декодеров, насыщаются: качество выходит на плато уже после 1-2 триллионов токенов.
💼 Рецепт UltraBERT - раздельные LM-головы: в каждом батче смешаны последовательности с 5% и 50% маскирования в пропорции 4:1, и у каждой доли своя голова при общем теле.
Бэкбоны отпилены от крупной учительской модели и дистиллированы. Отдельно вышла UltraBERT-Embed-150M - лучшая модель эмбеддингов до 200M параметров: 67.24 на MTEB по английскому и 73.30 по коду, с контекстом 32K и без дистилляции из более крупного эмбеддера.
📎 Блог Hugging Face
#NLP #BERT #эмбеддинги
———
@tsingular
🔥5✍3❤1⚡1