Нейронавт | Нейросети в творчестве
Опять грозят новыми ИИшками. Завтра в 20ч по москве узнаем какими Возможно, здесь #news
SWE-bench Verified
Короче, OpenAI выпустили инструмент для оценки возможностей больших языковых моделей (LLM) решать задачи, связанные с программным обеспечением. (я так понял, не кидайте камнями)
А клубничку сказали ждать в четверг
#news #benchmark
Короче, OpenAI выпустили инструмент для оценки возможностей больших языковых моделей (LLM) решать задачи, связанные с программным обеспечением. (я так понял, не кидайте камнями)
А клубничку сказали ждать в четверг
#news #benchmark
😁7🥴3🤔1
AVMeme Exam
Бенчмарк для мультимодальных мультилингвальных и мультикультурных LLM. Проверяет, насколько хорошо модели понимают контекст, чувства людей и культурное значение медиаконтента.
Раз метрика появилась, значит теперь можно по этой метрике муштровать модели. А значит они и мемы у нас отберут
HF
#meme #benchmark
Бенчмарк для мультимодальных мультилингвальных и мультикультурных LLM. Проверяет, насколько хорошо модели понимают контекст, чувства людей и культурное значение медиаконтента.
Раз метрика появилась, значит теперь можно по этой метрике муштровать модели. А значит они и мемы у нас отберут
HF
#meme #benchmark
😁6
Claw bench
Бенчмарк опенклошек. Загляните сюда прежде чем выбрать модель под агентные задачи
153 реальных задания на 144 платформах и в 8 категориях: от покупок и бронирования до подачи заявлений о приеме на работу и прочее
Отличные результаты у моего любимчика GLM-5
#agent #benchmark #leaderboard
Бенчмарк опенклошек. Загляните сюда прежде чем выбрать модель под агентные задачи
153 реальных задания на 144 платформах и в 8 категориях: от покупок и бронирования до подачи заявлений о приеме на работу и прочее
Отличные результаты у моего любимчика GLM-5
#agent #benchmark #leaderboard
👍6❤1
Decision Index
Первый бенчмарк для decision-моделей на Artificial Analysis — Jev и подобных
Слабое место почти у всех — отказ от галлюцинаций: у GLiDE 16.4, у Clef 4.3, у Celeris-1 ноль. То есть модели уверенно выбирают вариант, но не всегда честно говорят «не знаю»
Спасибо @morozovsk
#benchmark #decision #leaderboard
MAX
Первый бенчмарк для decision-моделей на Artificial Analysis — Jev и подобных
Слабое место почти у всех — отказ от галлюцинаций: у GLiDE 16.4, у Clef 4.3, у Celeris-1 ноль. То есть модели уверенно выбирают вариант, но не всегда честно говорят «не знаю»
Спасибо @morozovsk
#benchmark #decision #leaderboard
MAX
👍3❤1